爬虫入门到进阶学习笔记

副标题：董伟明知乎Live 爬虫 路径

综述

星期六晚上和周日上午学习了一个知乎Live《爬虫入门到进阶》，课程的主要内容是豆瓣工程师董伟明给大家讲解一些关于爬虫的内容。重点不在于，他给我们讲解了多少爬虫相关的知识，而是作为一个过来人，给我们指明：

• 爬虫学习路径
• 爬虫学习资料推荐
• 个人和爬虫相关经验。

爬虫学习路径

爬虫资料推荐

应聘创宇知道编写的爬虫： http://www.dongwm.com/archives/pa-chong-lian-xi/

Mtime时光网： https://github.com/dongweiming/mtime

董伟明的GitHub： https://github.com/dongweiming

Python爬虫之模拟知乎登录： https://juejin.im/post/58dce2248d6d8100613a4cfb

知乎专栏如何入门爬虫： https://zhuanlan.zhihu.com/p/21479334（推荐学习）

收集的爬虫代码： https://github.com/liinnux/awesome-crawler-cn

收集的各种爬虫： https://github.com/facert/awesome-spider

分布式网络爬虫： https://github.com/gnemoug/distribute_crawler

我个人认为，自己的学习必须要参考他人的好的资料，这样才能够又快又好的学习。

作者的经验介绍

如何进阶

• 学习基础
• 写一些代码
• 更高更多的追求 例如：多线程、协程、分布式、队列等等

爬虫工程师容易遇到瓶颈

学习书籍推荐

爬虫找工作建议

爬虫的工作比较难找，建议如下：

• 爬比较难的网站，有自己的作品。
• 有基础知识，更要知道背后的意义，有更深的理解。
• 有亮点，能够打动面试官，深入理解爬虫。

总结

个人认为这个Live花时间学习还是比较值得。主要主要是

• 他明确的指出了学习爬虫的路径
• 推荐了很好的入门材料。
• 介绍作者的自我经验，让自己对爬虫工作有一个整体感知。
• 有些坑给指明了，让自己少走弯路。