day16-爬虫-requests

最新推荐文章于 2024-08-10 10:09:09 发布

妄花

最新推荐文章于 2024-08-10 10:09:09 发布

阅读量171

点赞数

文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/qq_44243903/article/details/129809369

版权

爬虫-requests

系统环境：安装python环境得到的

虚拟环境：程序员自己创建的，可以创建多个；必须在系统存在创建


作用：每个环境提供一个python解释器 ，提供一个 第三方库 .

第三方库，不放系统环境好整理，


创建虚拟环境的建议：
学习的时候：一类项目一个虚拟环境（爬虫的虚拟环境、数据分析的虚拟环境….）
实际工作、做项目：一个项目一个虚拟环境

requests基本用法

import requests
"""
1.请求网络数据：requests.get(请求地址)
"""
response=requests.get('https://cd.zu.ke.com/zufang')

"""
1.1设置编码方式
"""
# response.encoding=''


"""
2.获取请求结果
2.1获取请求结果对应的文本数据 -爬网页
"""
# print(response.text)
"""
2.2获取二进制格式的请求结果  - 下载图片、视频、音频
"""
# print(response.content)
"""
2.3获取请求结果json转换的结果  - json接口
"""
# print(response.json())


# 案例1
# lian_meng=requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')
# print(lian_meng.json())
# for x in lian_meng.json()['hero']:
#     print(x['name'])

添加请求头

import requests

#1.发送请求
#添加header;a.浏览器伪装(user-agent)、b.免密登录(cookie)、c.设置代理(proxies)
headers={
    'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36'
}
response=requests.get('https://movie.douban.com/top250',headers=headers)

#2.获取结果
result=response.text
print(result)

下载图片

1.获取网络图片数据
"""
import requests
posponse=requests.get('https://hbimg.huabanimg.com/8f899441636b166476ff19e98eacd0551d8b64885553b0-tjeXir_fw658')
result=posponse.content
print(type(result))  #<class 'bytes'>



"""
2.保存数据到本地文件
"""
#wb 写二进制
with open('files/nike3.gif','wb') as f:
    f.write(result)