Python
文章平均质量分 92
thewindkee
这个作者很懒,什么都没留下…
展开
-
第一个爬虫(对百度贴吧图片的爬取)
一直想写爬虫,也想学python,最近看了慕课网爬虫的视频, 就自己试着写了个爬虫。单线程爬取,效率很慢,谢谢百度没有封IP 哈哈哈。我是win7 64位, python3.4,还用到了urllib,BeautifulSoup,python2.7用不了, 最主要就是urllib 和print 有点不同吧。我的思路是: 利用firefox的网页分析工具。1.找出当前贴吧首页所...原创 2016-01-28 14:56:47 · 2766 阅读 · 6 评论 -
python 爬虫爬取内容时, \xa0 、 \u3000 的含义与处理方法
python 爬虫爬取内容时, \xa0 、 \u3000 的含义转自:https://www.cnblogs.com/BlackStorm/p/6359005.html处理方法 str.replace(u'\xa0', u' ')最近用 scrapy 爬某网站,发现拿到的内容里面含有 \xa0 、 \u3000 这样的字符,起初还以为是编码不对,搜了一下才知道是见识太少 233 。\xa0 是不...转载 2018-04-11 00:41:29 · 36799 阅读 · 2 评论 -
python requests 高级用法 -- 包括SSL 证书错误的解决方案
(转)python requests 高级用法 -- 包括SSL 证书错误的解决方案我在使用requests访问某个https网站时出现错误 error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed找到这篇文章 http://python.codemach.转载 2017-06-06 16:43:50 · 4151 阅读 · 0 评论 -
python 使用requests时提示Process finished with exit code -1073741819 (0xC0000005)
我这里是因为访问的https连接,所以不验证证书或者指定证书路径即可。requests.post(loginUrl,data=formData,headers=headers,verify=False)requests.get(loginUrl,data=formData,headers=headers,cert=('/path/server.crt', '/path/key'...原创 2017-06-06 16:42:28 · 16361 阅读 · 0 评论 -
Accept-Encoding学习
今天使用python的 urlilib2访问天气接口的时候一直乱码,原因是内容被gzip压缩了,对内容解压缩即可。python2的urllib2读取网页乱码问题是解决了,可是为什么访问这个接口会因为gzip压缩乱码,而访问百度等其他网站不会乱码。 之前以为是urllib2在read前自己判断了meta的一些内容,然后做了gzip解压缩。查看源码后,未找到该操作。 转而把注意力放到gzip本身上,原创 2017-05-05 01:53:41 · 15752 阅读 · 2 评论 -
给Python中通过urllib2.urlopen获取网页的过程中,添加gzip的压缩与解压缩支持
之前已经实现了用Python获取网页的内容,相关已实现代码为:?1234567891011121314151617181920212223242526272829303132333435#--------------转载 2017-05-05 01:15:43 · 2582 阅读 · 0 评论 -
python2的urllib2读取网页乱码
Python利用urllib2抓取网页返回乱码的问题http://wthrcdn.etouch.cn/weather_mini?citykey=101010100 这个天气预报接口,并没有meta指定编码。又被服务器gzip压缩过。因此直接读取出来的时候,乱码。而且这里连英文都乱码,说明不是正常的编码。(我应该早点想到的)解压缩后就好了。ps:直原创 2017-05-04 19:07:46 · 1275 阅读 · 0 评论 -
Python时间戳和日期的相互转换
当前时间戳:time.time()当前日期:time.ctime()1、Python下日期到时间戳的转换import datetimeimport timedateC=datetime.datetime(2010,6,6,8,14,59)timestamp=time.mktime(dateC.timetuple())print timesta转载 2017-01-24 10:22:21 · 1153 阅读 · 0 评论 -
使用pyinstaller将python生成exe
本人环境:python3.4 ,win7 64位 先下载使用了py2exe 0.9.2.2 ,但是打包的时候一直报错:提示一个run .. win32 ..py的文件找不到。改用pyinstaller:下载pyinstaller之前 先下载pypiwin32 安装的时候按网上的说法用pip pypiwin32 install安装pypiwin32 , pip inst原创 2016-07-31 03:42:53 · 1836 阅读 · 0 评论 -
鼠标持续点击
最近玩一款老游戏, 里面开箱子太麻烦了, 一直手动点, 朋友让我试着写一个脚本。 就搜了下, 挺好实现的, 就试着写出来了。修改下 也可以做些其他重复的事情。 其实就是一个x键精灵的事情我的系统是 win7 64, python34用到了pyhooked,pypiwin32pyhook我一直安不上,就用的pyhooked,win32,可以直接用pip inst原创 2016-08-22 16:59:49 · 990 阅读 · 0 评论 -
【爬虫】花瓣采集下载器
做UI的朋友说花瓣访问不了, 但是个人采集还是能获得的。赶紧下载下来备份吧。python3+requests# -*- encoding:utf-8 -*-''' author:thewindkee'''import requestsimport urllibimport jsonimport reimport timeimport random# import qu.........原创 2019-01-28 09:57:00 · 4437 阅读 · 2 评论