爬虫
CLthinking
这个作者很懒,什么都没留下…
展开
-
python3.7 在windows 系统下安装mysqldb
在https://www.lfd.uci.edu/~gohlke/pythonlibs/上找到mysqlclient,点击进去 下载对应系统的版本: 这里有个小插曲,我们系统是win7 64位的,刚开始下载时选择64位的报错了,后来下载32位的安装上了。 最后在下载目录使用pip根据安装即可: pip install mysqlclient-1.4.2-cp37-cp37m-wi...原创 2019-07-23 20:33:12 · 830 阅读 · 1 评论 -
从一次爬虫案例谈谈异常处理与多线程的重要性
最近因为项目需要,需要爬取一些头像图片,爬取的网址是https://www.woyaogexing.com/touxiang/,这次爬虫没有使用任何框架,使用Python的requests库请求网址,使用pyquery解析网页。网页的结构比较简单,这里就不详细说了,刚开始时,由于下载速度过快,下载一会就出现异常而中断了,后来我就每下载一张后就暂停几秒。晚上回去前,把爬虫脚本一直运行着,以为第二天早...原创 2019-08-18 16:14:02 · 321 阅读 · 0 评论