一、前言
注意:此为内部小组学习资料,非售卖品,仅供学习参考。
本系列课程:
Python学习小组课程-课程大纲与Python开发环境安装
Python学习小组课程P1-Python基础(1)语法与数组
Python学习小组课程P2-Python基础(2)文件操作
Python学习小组课程P3-Python爬虫(1)HTML与Json解析
Python学习小组课程P4-Python办公(1)Excel保存
Python学习小组课程P5-Python办公(2)Excel读取与Word生成
Python学习小组课程P6-Python办公(3)邮件与钉钉消息通知
爬虫程序开发注意事项:
- 遵守Robots协议
Robots是网站和爬虫之间的君子协议,网站可以在根目录下存放robots.txt文件,告诉爬虫哪些内容可以爬取、哪些内容禁止爬取。 - 控制合理请求频率
如果请求频率过高,可能服务器瘫痪。慎用多线程,采取请求间休眠措施 - 禁止爬取付费内容、个人隐私等
- 禁止破解反爬措施