webmagic爬取方式

一：根据网页地址爬取并解析

适用于新闻网站爬取

二：分析网页中的get请求，对返回的数据进行解析

适用于微博、微信、贴吧

三：根据post请求爬取

查看网页源代码，找到post请求参数，伪造request进行爬取，用到的较少，分析起来相对麻烦

---

有的网站爬取需要注册登录，可以设定cookie进行登录，必要时可以添加代理；个别网站登录时没有验证码可以下载谷歌插件进行爬取。