爬虫案例-糗事百科之糗图爬取

一、爬虫需要的库及方法

1. requests库

• requests.get(url,params,**kwg)
  • url：若页面是通过Ajax加载的，则需要通过从XHR中找新的url，此时我们需要给params传参数；一般情况都是直接复制网页链接
  • params：若页面是通过Ajax加载的，则需要给params传参数
    • 若发起的是get请求，则需要定义一个字典params，然后将params传给params；
    • 若发起的是post请求，则需要定义一个字典data，然后将data传给data（字典params和data也可以用其他名字替代）

  import requests
  
  #发起get请求
  url = '......'	#url网页链接
  headers = {
       		
  	'User-Agent':'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1 Edg/88.0.4324.96'
  }
  
  params = {
       
  	key:value
  }
  response=requests.get(url=url,params=params,headers=hraders)
  
  #发起post请求
  data = {
       
  	key:value
  }
  response=requests.post(url=url,data=data