day16爬虫第一天总结

最新推荐文章于 2024-08-10 10:09:09 发布

＆-＆+、!？%

最新推荐文章于 2024-08-10 10:09:09 发布

阅读量49

点赞数

文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/qq_54073138/article/details/129803367

版权

day16爬虫第一天

01 requests 基本用法

# 首先导入requests库
import requests

# 1.请求网络数据:requests.get(请求地址)

response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/hero/1.js')

# 2.设置解码方式（乱码的时候设置  -   一定要在获取请求结果之前设置）
# response.encoding = ''

# 3.获取请求结果

# 1）获取请求结果对应的文本数据   -   爬网页
# print(response.text)

# 2）获取二进制格式的请求结果    -   下载图片、视频、音频
# print(response.content)

# 3)获取请求内容json转换的结果 -   json接口
# print(response.json())

2.addHeader

# 1.发送请求
# 添加header：a.浏览器伪装（user-agent）b.免密登录（cookie）、c.设置代理（proxies）
headers = {
    'cookie':'',
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'
}
response = requests.get('https://www.baidu.com/',headers=headers)

# 2.获取数据
result = response.text
print(result)

3.downloadlmgage

import requests

# 1.获取网络图片数据
response = requests.get('https://tse1-mm.cn.bing.net/th/id/OIP-C.h4SjKqgnLeos7y19ytS18gHaEo?w=298&h=186&c=7&r=0&o=5&pid=1.7')
result= response.content
print(type(result)) # <class 'bytes'>
# 2.保存数据到本地文件中
with open('file/a.jpg', 'wb') as f:
    f.write(result)