杭州自学python爬虫_大家都是怎么自学Python爬虫的呢？

学习爬虫的过程，无论用什么语言，都是相似的，要了解http，https协议的工作原理；网页相关的知识：html，css，js，ajax；

如果要抓取动态网页，即页面内容是通过js动态渲染的，这个时候要了解无头浏览器相关的知识，例如puppeteer/chromium，phantomjs。你需要了解你所用语言或框架怎样和这些无头浏览器交互，以及怎样注入提取数据的js代码，怎么拿到返回结果。

如果要抓取静态网页，需要了解该语言提供了那些http/https网络请求工具；在获取到html内容后有哪些解析xml/html的工具包。

上面提到的是抓取一个页面的过程，即一个任务，如果该页面中包含了一些url链接，也需要抓取，那么就涉及到任务队列的管理和调度，你需要了解该语言有哪些成熟的任务队列调度框架。

在抓取到数据后，你还要考虑怎样存储数据，所以要了解一下数据库相关的库。

了解http协议可以帮助你更好的分析网页打开过程中的请求，这样你可以采取请求监听或自发伪装请求来获取数据。

了解js，jquery，可以帮助你抓取页面中的数据。

以上是我自己学习过程和实现爬虫框架过程的部分经验总结。最后，如果愿意学习nodejs爬虫，强烈推荐试试我写的一个爬虫框架，https://github.com/xiyuan-fengyu/ppspider