爬虫（第二天）

发送带headers的请求

headers = {“User-Agent”:“从浏览器中复制”}
requests.get(url,headers=headers)

发送带参数的请求

params = {"":""}
url_temp = “不完整的URL地址”
requests.get(url_temp,params=params)

列表推导式

In [41]: [i for i in range(10)]
Out[41]: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

In [42]: [i/2 for i in range(10)]
Out[42]: [0.0, 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0, 4.5]

In [43]: [i/2 for i in range(10) if i%2==0]

面向对象

• 对象
  • 生活中的客观事物
• 类
  • 对事物的抽象，在代码中实现class类型
• 实例
  • 使用之前对类的实例化之后的记过

发送post请求

data = {“从浏览器中formdata的位置寻找”}
requests.post(url,data=data)

使用代理

proxies = {“协议”：“协议+ip+端口”}
requests.get(url,proxies=proxies)

session的使用

session = requests.Session()
session.post(url,data) #cookie会存在session中
session.get(url) #会带上之前的cookie