第二章:requests模块

第二章:requests模块

1.简介

基于网络请求的模块,功能强大,简单便捷,效率较高

2.作用

模拟浏览器发送请求

3.使用流程

  • 指定url
  • 发起请求
  • 获取响应数据
  • 响应数据的数据存储

4.第一个简单案例:

爬取搜狗首页数据

import requests
#爬取搜狗首页的页面数据

if __name__ == '__main__':
    #step1:指定url
    url = 'http://www.sougou.com/'
    #step2:发起get请求
    #get方法会返回一个响应对象
    response = requests.get(url=url)
    #step3:获取响应数据  ,text方法反悔啊字符串形式的响应数据
    page_text = response.text
    print(page_text)
    #step4:持久化存储
    with open('./sougou.html', 'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取数据结束')

5.requests对响应数据获取的三种方式

responese = requests.text     #获取字符串类型的响应数据
responese = requests.json   #获取对象类型的响应数据
responese = requests.content #获取的对象时二进制形式

6.实战巩固

(1)爬取搜狗指定词条对应的搜索结果页面(简易的网页采集器)

import requests
#UA伪装(User-Agent)
headers = {
  "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Mobile Safari/537.36"
}
url = 'https://www.sogou.com/web'
#处理url携带的参数:封装到字典中
kw = input('please enter a key word:')
param = {
    'query': kw
}
#携带参数的请求
response = requests.get(url=url,params=param,headers=headers)
page_text = response.text
filename = kw+'.html'
with open(filename,'w',encoding='utf-8') as fp:
    fp.write(page_text)
print(filename,'保存成功!')

(2)破解百度翻译

import requests
import json

post_url = 'https://fanyi.baidu.com/sug'

headers = {
   "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Mobile Safari/537.36"
}

word = input("please input a word:")
data = {
    'kw' : word
}

response = requests.post(url=post_url, data=data, headers=headers)
#获取响应数据 json返回的是一个对象
dic_obj = response.json()
#存储数据
fileName = word+'.json'
fp = open(fileName, 'w', encoding='utf-8')
# ensure_ascii=False 返回结果有中文,中文不能使用ASCII编码
#json.dump() 存储json格式的数据到文件中
json.dump(dic_obj, fp=fp, ensure_ascii=False)

print('over!数据爬取结束')

(3)爬取豆瓣电影分类排行榜

import requests
import json
url = "https://movie.douban.com/j/chart/top_list"
headers = {
   "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Mobile Safari/537.36"
}
list_data = []
for i in range(0,100,20):
    # print(i)
    start = str(i)
    param = {
        'type': '24',
        'interval_id': '100:90',
        'start': start,  # 从库中第几部电影开始去取
        'limit': '20',  # 一次取出的个数
        'action': ''
    }
    response = requests.get(url=url, params=param, headers=headers)
    list_data += response.json()


fp = open('./douban.json','w',encoding='utf-8')
json.dump(list_data, fp=fp, ensure_ascii=False)

print('over!!')
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值