第一步:安装开发环境2.X或者3.X
第二步:安装开发软件
第三步:pip install 来安装第三方的包,遇到包不能安装可以使用豆瓣(其他国内的)的包
一:Linux服务器多个版本的python可以使用 pyenv 管理多个版本
二:爬虫的工作流程
1、将种子url放入队列
2、从队列中获取url,抓取内容
3、解析抓取的内容,将进一步抓取的url放入工作队列
4、安装爬虫框架scrapy
5、框架scrapy的学习资料
https://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html
三:抓取策略分深度优先和广度优先,PageRank,大站优先策略
四:如何去重:Hash表和bloom过滤器(实际工作中,省内存)
五:robots协议和规范
http://baike.so.com/doc/4854891-5072162.html
六:爬虫质量标准
分布式,可伸缩性,性能和有效性,质量,新鲜性,更新,可扩展性