爬虫模块scrapy框架命令，requests模块，retrying模块，requests中session，response常用属性，json.dumps，json.loads，json.load

1.scrapy框架

创建项目：scrapy startproject 项目名
创建爬虫：cd 项目名下  ，scrapy genspider 爬虫名 allowed_domains(网站)
开启爬虫：scrapy crawl 爬虫名

2.requests模块

proxies = {
   "http": "http://127.0.0.1:8080"}  # proxies格式，key为协议，value为：协议+ip地址+端口
headers = {
   "User-Agent": "xxx", "Cookie": "cookie_str"}  # cookie可以写在headers中，此时cookie为str
cookie_dict = {
   i.split("=")[0]:i.split("=")