-
需要有python基础
- 官方中文文档:docs.python.org/zh-cn/3/
- 入门的话看菜鸟教程就好
-
python爬虫相关网络请求包
- urllib库
- requests库
- 两者区别:urllib出来比较早,比较原生,而requests在urllib基础上封装的,一些方法更好用。两者可以实现的功能差不多相同。
-
curl简单去学习curl,在模拟请求的时候可以用curl去调试
-
chrome浏览器:一般的web的抓取,用chrome的调试工具调试即可,大部分问题可以解决(包括抓包、调试js代码),切记熟练使用chrome调试工具。
-
火狐浏览器:当chrome隐藏了一些请求头信息的时候,可以使用火狐浏览器去抓包,火狐中可以看到。
-
抓包工具charles(Mac os)和fiddler(windows)必须熟悉其中一种。抓app数据包时必须用得到。
-
爬虫框架:scrapy
- scrapy中文文档:scrapy-chs.readthedocs.io/zh_CN/lates…
-
解析常用python包
- 一些不规则数据:用正则—>re模块
- dom树结构(html网页):xpath
- xpath有语法规则:上菜鸟教程上搜索,这个xpath常用语法必须熟练
-
某些网站做反扒做的很严重,需要调用浏览器来抓取了
- selenium + headless(chromedriver、phantomjs)
总结
上面这些应付web端爬虫目前是可以了,app端抓取可能会使用到一些其他技术,比如说anyproxy等。