python爬虫学习
ZEN1001
这个作者很懒,什么都没留下…
展开
-
简单爬虫学习
爬虫爬虫的架构:1、爬虫调度器;2、url管理器;url管理器:功能:实现url的新增,查找,删除,更新这些功能。实现方式:1、set():将待爬取和已爬取的url存放在python内存分配集合中。2、mysql:关系数据库3、redis:缓存数据库网页下载器:功能:下载需要url网页存储到本地文件或字符串。实现方式:1、urllib2:python基础模块 urllib...原创 2018-10-17 15:44:06 · 198 阅读 · 0 评论 -
Windows下在anaconda下面安装http库时报错:python setup.py egg_info
如图安装报错,截图如下:当时以为是自己的库安装问题,在网上搜索了各种原因:1、pip install --upgrade pip (pip 升级)2、pip install --upgrade setupTools ( setupTools 升级 )3、其他。在安装其他库的时候,也有人遇到这样的情况。所以就判断应该不是http库的原因,怀疑是平台的原因,哪里没有设置对,于是考虑换一个平...原创 2018-10-17 12:48:18 · 561 阅读 · 0 评论