爬虫学习（一）

requests模块

        python中原生的一款基于网络请求的模块，功能强大，简单便捷，效率极高。作用：模拟浏览器发起请求。

如何使用：

        - 指定url

        - 发起请求

        - 获取响应数据

        - 持久化处理

环境安装

pip install requests

具体编码

        需求：爬取百度首页的页面数据

#爬取百度首页的页面数据
import requests

#指定url
url = 'https://www.baidu.com/'

#发起请求，get方法会返回一个响应对象
response = requests.get(url=url)

#获取响应数据，返回的是字符串形式的响应数据
text = response.text
print(text)

#持久化存储，存储文本文件到当前目录下
with open('./sougou.txt','w',encoding='utf-8') as fp:
    fp.write(text)

        需求：爬取百度指定词条对应的搜索结果页面（简易网页采集器）

#UA：User-Agent ， 请求载体的身份标识
#UA检测： 门户网站的服务器会检测对应请求的载体的身份标识，如果检测到该请求的载体身份标识为某一款为浏览器，能成功访问
#如果检测到请求的载体身份标识不是基于某一款浏览器的，则标识该请求为不正常请求（爬虫），则服务器端很可能拒绝该次请求
import requests

#UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器，将User-Agent封装到一个字典中
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0'}
url = 'https://www.baidu.com/s'
#处理url携带的参数：封装到字典中
wd = input('enter a word:')
param = {'wd':wd}
#对指定的url发起请求,对应的url是携带参数的，并且请求过程中处理了参数
response = requests.get(url,params=param,headers=headers)

text = response.text
print(text)
fileName = wd + '.html'
with open(fileName,'w',encoding='utf-8') as fp:
    fp.write(text)

运行结果：

        需求：破解百度翻译

        Cookie改为自己的，不然会报错

#post请求(携带了参数)
#响应数据(JSON格式)
import requests
import json
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0'
           ,'Cookie':"BAIDUID=15792F369CCB57C7B1768AB47021693D:FG=1; BIDUPSID=C5F74397E4C3533B468A6D7F70753C45; PSTM=1709637600; H_PS_PSSID=40207_40212_40215_40080_40365_40352_40375_40366_40401_40464_40459_40317; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1709277241,1709371354,1709637504,1710918052; H_WISE_SIDS=40207_40212_40215_40080_40365_40352_40375_40366_40401_40464_40459_40317; APPGUIDE_10_6_9=1; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; ab_sr=1.0.1_ZTA3ZTBiNGRkMjhiYjZhODVkOWQ4MGVkNjJkNDZjOTYxNTAzYzY1NDlkMGIxYzBlOTZjMTNhMDA5MzliNDU4ZmNmNzA3NDc3MjE0ZmVkOGVmZjYyNjUwMjkxZmM1NGEwNzRlOWU1NDFhODFhNGUzNDRmODNlMGIxMzMxZmZjMzJhN2I3MTFiYzZjYTYxNDk1MTUwNzcyMWI3NWEzMDg4Mw==; ZFY=intePhgjae:BoGLsKPKIab2U4XLe4NjsR:B15bTm:BBmQE:C; PSINO=6; BA_HECTOR=0h00ak0k018k210h218g2g01q684311ivl2d11t; delPer=0; APPGUIDE_10_7_1=1; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1710918052"}
url = 'https://fanyi.baidu.com/sug'
kw = input('输入想翻译的英文:')
#POST请求参数处理
data = {'kw':kw}
#请求发送
response = requests.post(url=url,data=data,headers=headers)
#获取响应数据:json()方法返回的是obj(如果确认响应数据是json类型的，才可以使用json())
dic_obj = response.json()
print(dic_obj)

#持久化存储
fileName = kw + '.json'
fp = open(fileName,'w',encoding='utf-8')
#有中文，不使用ascii码
json.dump(dic_obj,fp=fp,ensure_ascii=False)
fp.close()
print('over')

        爬取豆瓣电影分类排行榜中的电影详情数据

返回的是JSON格式

import requests
import json

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0'}
url = 'https://movie.douban.com/j/chart/top_list'
param = {
    'type':'24',
    'interval_id':'100:90',
    'action':'',
    'start':'0',#从库中的第几部电影去取
    'limit':'20',#一次取出的个数
}
response = requests.get(url=url,params=param,headers=headers)
text = response.json()
print(text)

fp = open('./douban.json','w',encoding='utf-8')
json.dump(text,fp=fp,ensure_ascii=False)
print('OVER')