一:根据网页地址爬取并解析 适用于新闻网站爬取 二:分析网页中的get请求,对返回的数据进行解析 适用于微博、微信、贴吧 三:根据post请求爬取 查看网页源代码,找到post请求参数,伪造request进行爬取,用到的较少,分析起来相对麻烦 有的网站爬取需要注册登录,可以设定cookie进行登录,必要时可以添加代理;个别网站登录时没有验证码可以下载谷歌插件进行爬取。