本人公众号上线啦!!!
公众号与博客名一样:没有腹肌的程序猿
公众号文章类型:工作上所遇到的需求实现方案分享。
此外也会提供一些数据集供大家使用。(这个还在规划中,毕竟打工人时间挺紧的,哈哈哈哈)
到时候也会不定期给大家抽一些小东西哦。
python爬虫之requests
request是python爬虫的一个基本的库,功能十分齐全。
下面对一些常用的方法进行说明:
(response----指接受返回的响应)
-
requests.get(url,params,headers)
url:发送请求的链接。 params:携带的参数。 headers:头部信息。
-
requests.post(url,data,headers)
url:发送请求的链接。 data:携带的json参数。 headers:头部信息。
-
response.raise_for_status
如果返回的状态码不是200,通过此方法能够抛出异常。
-
response.encoding
返回信息的编码格式。
-
response.apparent_encoding
解析返回数据是什么编码格式,一般使用方式 response.encoding = response.apparent_encoding。 通常用在爬取中文的网页,防止乱码。
-
response.json()
获取返回回来的json数据。
-
response.text
获取返回回来的html文本信息。
-
response.content
Html响应的二进制信息。
- 案例1:爬取百度网页
链接:https://www.baidu.com/
一般网站都有反爬机制,因此我们需要做最基本的UA伪装。
url = 'https://www.baidu.com/'
header = {
'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
}
response = requests.get(url=url, headers=header)
response.raise_for_status()
response.encoding = response.apparent_encoding
concent = response.text
print(concent)
- 案例2:爬取百度翻译
百度翻译链接:https://fanyi.baidu.com/?aldtype=16047#auto/zh
1.进入百度翻译后,我们随便输入一个单词,发现它是实时的局部刷新,因此我们可以打开控制台查看一下它发送的ajax请求,看看能不能通过该请求获得数据。
2.通过抓包分析,可以看到我们输入dog,三个单词,它就发送了三次请求。
3.我们可以对该请求做进一步的分析。分析之后我们发现该请求是一个Post请求,且返回的数据是Json格式,也就是翻译后的内容的json格式。因此,我们只要向该链接发送请求我们就能获取到数据。
4.分析结束我们就可以编写代码。
#百度翻译
import json
url='https://fanyi.baidu.com/sug'
kw = input('enter you want fanyi')
kw = {
'kw':kw
}
header = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
}
response = requests.post(url=url, data=kw, headers=header)
response.raise_for_status
response.encoding = response.apparent_encoding
content_json = response.json()
#默认转成ascii编码,因此需要设置成false
content = json.dumps(content_json,ensure_ascii=False)
result = json.loads(content)
print(result["data"])
- 案例3:爬取豆瓣电影的排行榜
豆瓣网页:https://movie.douban.com/chart
1.随便进去一个分类
2.在这个页面将右侧的滚动轮拉到就下,页面就会自动刷新,发送ajax请求。通过抓包分析,我们可以发现该请求返回是json数据,也就是电影的json数据,且有发送的参数。
3.因此我们可以直接通过该链接跟参数直接发送请求获得数据。
#豆瓣电影排行
url = 'https://movie.douban.com/j/chart/top_list'
params = {
'type': '5',
'interval_id':'100:90',
'action': '',
'start':'0',
'limit': '20'
}
header = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
}
response = requests.get(url=url,params=params, headers=header)
content = response.json()
#在使用dumps时候,会默认将汉子转成ascii编码格式,因此我们需要手动设置成False
content1 = json.dumps(content,ensure_ascii=False)
print(content1)
案例四:爬取肯德基指定位置有多少家餐厅
肯德基链接:http://www.kfc.com.cn/kfccda/index.aspx
1.进入网页,进入餐厅查询页面。在页面的最下面。
2.在该页面进行实验查询。通过实验发现,输入地名后点击查询,地址栏的url并没有发生变化,因此我们可以判断是通过ajax请求进行的局部页面的刷新。
3.打开控制台进行分析,我们发现该请求是Post请求,且返回的json数据,查看json数据发现就是餐厅位置的信息。因此我们可以通过发送请求并携带参数进行获取数据。
4.编写代码。
#爬取肯德基指定位置有多少家餐厅。
url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
keyword = input('请输入要查询的地名:')
data = {
'cname':'',
'pid': '',
'keyword': '广东',
'pageIndex': '1',
'pageSize': '10'
}
header = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
}
response = requests.post(url=url, data=data, headers=header)
content_json = response.json()
content_json = json.dumps(content_json,ensure_ascii=False)
result = json.loads(content_json)
rowcount = result['Table'][0]['rowcount']
print(rowcount)