首先要自己会写代码。
学习爬虫可以从下面一些知识点入手学习。
1、http相关知识。
2、浏览器拦截、抓包。
3、python2 中编码知识,python3 中bytes 和str类型转换。
4、抓取javascript 动态生成的内容。
4、模拟post、get,header等
5、cookie处理,登录。
6、代理访问。
7、多线程访问、python 3 asyncio 异步。
8、正则表达式、xpath等
还有scrapy requests等第三方库的使用。
主讲python爬虫 python基础 数据分析 挖掘等
如果爬取的是信息,文本之类的,几点比较基本的,但是可能会很有用,别人也不轻易告诉你的小提示,以下不分先后,想到什么说什么。
0. 源网站能爬api的爬api,不能爬api的爬页面,实在实在不行还有phantomjs和selenium。。。(误,初学者可以先放弃了)
1. 用requests库去处理http请求,不要用urllib urllib2
2. 你的爬取脚本和解析脚本要分开,爬取脚本只爬取内容(raw html),
3. 能利用多线程的地方使用多线程,有时候用gevent什么的打个补丁也可以接受。
4. 解析的时候正则表达式分段落。把要爬取的东西分成大块,尽量先用字符串解析的方法把需要的提取出来,再通过正则匹配段落。这样可维护性比直接写一个特别长的正则要高。
5. 正则不能用来解析html,这里有一个stackoverflow上的经典回答 html - RegEx match open tags except XHTML self-contained tags。 不过你会需要beautifulsoup。
6. 解析出来的数据妥善存好,但记得一定要保存raw html!你会需要它们的。
7. 爬取往往不是一次性的事,所以做爬虫的时候要考虑你会经常用你的脚本和改它,代码别太杂乱无章。
8. 做好异常处理,熟悉各种http状态,知道什么爬虫时候应该挂掉。不要傻乎乎做了一堆无用请求。
9. 做好被封ip/ua/fingerprint/等等。。的准备。。。
10. 不要用自己上班公司的业务相关的机器爬竞争对手的内容!
Python经验分享
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
Python学习路线
这里把Python常用的技术点做了整理,有各个领域的知识点汇总,可以按照上面的知识点找对应的学习资源。
学习软件
Python常用的开发软件,会给大家节省很多时间。
学习视频
编程学习一定要多多看视频,书籍和视频结合起来学习才能事半功倍。
100道练习题
实战案例
光学理论是没用的,学习编程切忌纸上谈兵,一定要动手实操,将自己学到的知识运用到实际当中。
最后祝大家天天进步!!
上面这份完整版的Python全套学习资料已经上传至CSDN官方,朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。