简单的爬虫完整代码 教程
爬虫简单流程 1,分析网页找出目标url 2,python用urllib2下载url内容 3,BeautifulSoup bs4解析网页 4,从解析出来的数据中选择爬取目标 5将目标写入本地。
注意事项 1, 添加header 主要为cookie和网站代理 放置封ip 2,python编码问题 下载解析过程中不改变编码方式 等最后写入本地时更改编码方式。
一爬某个学校网站所有最近通知**
# -...
原创
2019-05-21 20:39:08 ·
22014 阅读 ·
0 评论