自己在网上找爬取的代码:
https://download.csdn.net/download/qq_41842476/10419550
爬取csdn
https://download.csdn.net/download/weixin_38735288/10427874
用python写爬虫和用Java写爬虫的区别是什么?
request库加bs4库 是轮子
scrapy是开源框架
python网页爬虫相关的,都很好用,除了requests,urblib2,
其他的beautifulsoup,scrapy,selenium,splinter都很好用,组合起来非常顺手。
推荐一些爬虫的实现源码:
https://github.com/ShenJianShou/crawler_samples