决定学习一系列的 python 爬虫教程

点击上方蓝字关注我们

欢迎关注我的公众号，志学Python

必须来个乘上接下的总结，之前学习了很多关于 flask 这个轻量级的 web 开发框架，收获很多，不知道各位是否学习到很多呢？我喜欢有更多的人来跟我一起来践行学习这件事，永远都不要放弃学习，持续学习是这个社会的核心竞争力，对我来说，我喜欢尝试各种各样新鲜的东西，我喜欢挑战

接下来，我可能会继续学习 关于 python 的东西，上次学习 flask ，这次通过学习出一系列的 python 爬虫教程，就从入门开始吧，兄弟们，搞起来

先给些建议吧

爬虫工程师要求知识点

1、python入门和进阶（进阶的包括多进程等等）

2、HTTP知识（因为要爬的是网页，所以要了解网页）

2、web前端：HTML、CSS、Javascript等

3、爬虫知识（爬虫基本库的使用、scrapy框架等）

4、反爬虫（代理池、分布式等等）

5、数据库（大批量数据的储存涉及mysql等）

先导知识

HTTP协议

html，css，javascript：学爬虫这些东西是肯定要看的，推荐W3school，倒也不用全看，懂个大概就好了

爬虫实战项目一，涉及知识点：mysql储存、断点续爬、抓包app、ip代理、cookie模拟登陆

1、zhuanlan.zhihu.com/p/26

2、zhuanlan.zhihu.com/p/26

3、cnblogs.com/hearzeus/p/

4、jianshu.com/p/887af1ab4

爬虫实战项目二，涉及知识点：scrapy具体应用

scrapy知识点：cnblogs.com/cnkai/categ

scrapy中文文档：scrapy-chs.readthedocs.io

scrapy项目实战：cnblogs.com/cnkai/categ

补充：segmentfault.com/a/1190

爬虫实战项目三，涉及知识点：去重、分布式、多进程、模拟登陆

1、cuiqingcai.com/4352.htm

数据库，掌握基本用法即可

mysql：runoob.com/mysql/mysql-

mongodb：runoob.com/mongodb/mong

找工作必备

计算机基础，包含（数据结构与算法、计算机网络协议等计算机专业基本课程、我前面的文章里有介绍怎么学），非计算机专业学生容易忽略

其他技能（可选，加分）

javascript，验证码，app破解

1、要想破解加密，得非常强悍的javascript基础，这个我也不是很懂

2、验证码，工业界目前破解验证码还是用打码平台

3、现在不仅仅是网站破解了，很多公司需要你抓app的数据，抓包最常用，你还得会app脱壳之类的，这些我就不懂了。

欢迎关注我的公众号