think爬虫

请求？

请求类型，请求url，请求头，请求体（已post提交的话对应表单内容）

响应？

响应状态，响应头，响应体

能处理怎样的数据？

网页文本（若是ajax提交的请求，需要解析返回的json格式的数据），图片和视频（二进制形式），其他

解析方式？

直接处理，json解析，正则表达式，beautifulsoup，PyQuery，xPath。

问题：抓到的数据和浏览器中的不一样？

因为是使用javascript渲染的。

怎样解决javascript渲染问题？

1、分析ajax请求        2、使用selenium

怎样保存数据？

1、文本 2、使用关系型数据库 mysql，oracle，sql server  3、非关系型数据库mongodb， redis  4、二进制文件（直接保存）