Day1-requests基础

最新推荐文章于 2024-07-12 16:16:27 发布
最新推荐文章于 2024-07-12 16:16:27 发布
阅读量75 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55243634/article/details/129803255
版权

Day1-requests基础

1. requests基本用法

import requests

# 1. 请求网络数据: requests.get(请求地址)
response = requests.get('https://cd.zu.ke.com/zufang')

# 2. 设置解码方式(乱码的时候是需要设置的，一定要在获取请求结果之前设置)
response.encoding = 'utf-8'           # 在顶部<head>标签里找<meta>标签的 charset=utf-8 的属性值

# 3. 获取请求结果
# 1) 获取请求结果对应的文本数据  -   爬网页
response = requests.get('https://cd.zu.ke.com/zufang')
print(response.text)

# 2) 获取二进制格式的请求结果   -   下载图片、视频、音频的时候用
response = requests.get('https://img2.baidu.com/it/u=1320841762,1779070643&fm=253&app=138&size=w931&n=0&f=JPEG&fmt=auto?sec=1680022800&t=f31623a18b2de3d02d91a0bbf5c57ced')
print(response.content)

# 3) 获取请求结果json转换的结果    -   针对json接口数据 (请求结果得到的数据一般是一个字典)
response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')
print(response.json())

2. 添加请求头

# 1. 发送请求
# 添加header: a.浏览器伪装(user-agent)、b.免密登录(cookie)、c.设置代理(proxies)
headers = {
    'cookie': 'bid=3zJOvib4dZM; ap_v=0,6.0; _pk_ses.100001.4cf6=*; __gads=ID=fd8c89f20849e47a-22e45e97c0dc00eb:T=1679904293:RT=1679904293:S=ALNI_MZSmHQWH7--T48pczHe5sACveTTUg; __gpi=UID=00000be207bfa851:T=1679904293:RT=1679904293:S=ALNI_MamdCH7WtxSWoFKiiD2gza7FssGlw; _pk_id.100001.4cf6=8d8f89c6033fa666.1679904277.1.1679904312.1679904277.; __utma=30149280.1762753563.1679904312.1679904312.1679904312.1; __utmb=30149280.0.10.1679904312; __utmc=30149280; __utmz=30149280.1679904312.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=223695111.1733434124.1679904312.1679904312.1679904312.1; __utmb=223695111.0.10.1679904312; __utmc=223695111; __utmz=223695111.1679904312.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'
}

response = requests.get('https://movie.douban.com/top250', headers=headers)

# 2. 获取结果
result = response.text
print(result)

3. 下载图片

# 1. 获取网络图片数据
response = requests.get('https://img2.baidu.com/it/u=1320841762,1779070643&fm=253&app=138&size=w931&n=0&f=JPEG&fmt=auto?sec=1680022800&t=f31623a18b2de3d02d91a0bbf5c57ced')
result = response.content
print(type(result))         # <class 'bytes'>

# 2. 保存数据到本地文件
with open(r'files\panda.jpg', 'wb') as f:
    f.write(result)
guoooooo郭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫01：requests模块基础
JarryWangJY的博客
04-30 1213
Python爬虫requests模块
Requests基础学习（一）
可爱程序员
02-21 692
一、Requests 1、Requests库的简介 request库是python的第三方库，它也是目前公认的爬取网页最好的第三方库，其特点是：简单、简洁，甚至用一行代码就能从网页上获取相关资源。 2、requests库的安装方法 按住windows+R键，在窗口中输入cmd，打开命令提示符 pip install requests 安装成功提示 3、request使用的...
python爬虫——Requests基础
第一楼主的博客
10-19 1409
1、requests 的安装 如果本地 Python 环境没有安装 requests，可以在命令提示符窗口输入命令pip install requests，安装 requests 模块，如下图所示。 2、requests 的常用方法 1、GET方法 res = requests.get(url, params=params, headers=headers) 参数说明 url ：需要抓取的 URL 地址； params : 网址带参请求的方法，字典类型； headers : 请求头。 以
Requests基础
一纸青尘染流年的博客
10-29 651
Requests 01.requests基础 requests：是python用来发送http请求的一个第三方库 1.发送请求获取响应 requests.get(url) - 发送get请求 requests.post(url) - 发送post请求 response = requests.get(‘https://movie.douban.com/top250’, headers=headers) 2.获取响应内容 1)状态码 code = response.status_code
Python之requests爬虫
qq_44111805的博客
05-01 2959
第一关：requests 基础 代码： import requests def get_html(url): ''' 两个参数 :param url:统一资源定位符,请求网址 :param headers:请求头 :return:html ''' # ***************** Begin ******************** # # 补充请求头 header={"User-Agent": "Mozilla/
2024.4.14 复习Day02-Source
04-13
在爬虫领域，"Source"可能特指网页源代码，是网络爬虫抓取信息的基础。源代码是程序的原始形式，程序员用人类可读的语言编写，然后通过编译器或解释器转化为机器可以执行的指令。在爬虫技术中，了解和解析源代码是...
飞桨学院-Python从小白逆袭大神-DAY2-青春有你2选手信息爬取
12-21
1. **发起请求(Requests)**: Python的`requests`模块是一个非常实用的库，可以方便地向指定URL发送HTTP请求。例如，我们可以通过`requests.get(url)`函数获取网页内容。 2. **解析数据(BeautifulSoup)**: `...
python-Day13.rar
04-09
1. **Python爬虫基础**： - 网络爬虫是一种自动化程序，用于遍历互联网并获取所需信息。 - Python因其简洁易读的语法和丰富的库支持，成为爬虫开发的首选语言。 2. **HTTP/HTTPS协议**： - 爬虫首先需要理解HTTP...
python-Day15.rar
04-09
1. **基础概念**：首先，我们需要理解什么是网络爬虫，它是一种自动抓取互联网信息的程序。Python中的爬虫通常基于requests库来发送HTTP请求获取网页内容，再用BeautifulSoup或lxml等解析库解析HTML或XML文档。 2. ...
python-Day08.rar
04-07
1. **基础概念**：首先，了解什么是网络爬虫至关重要。网络爬虫（Web Crawler）是一种自动化程序，它可以遍历互联网上的网页，提取所需信息。这些信息可以是文本、图片、链接等。 2. **Python爬虫库**：Python中有...
头歌requests爬虫-第一关
dearlwy521的博客
04-19 1万+
import requests def get_html(url): ''' 两个参数 :param url:统一资源定位符,请求网址 :param headers:请求头 :return:html ''' # ***************** Begin ******************** # # 补充请求头 headers={"User-Agent": "Mozilla/5.0 (Windows NT.
Python爬虫入门 第一章 Requests库入门
Jitwxs
03-30 1408
第一章 Requests库入门1. 使用命令行安装： pip install requests 2. Requests库的7个主要方法 方法 说明 requests.request() 构造一个请求，支撑以下各方法的基础方法 requests.get() 获取HTML网页的主要方法,对应于HTTP的GET requests.head() 获取HTML网页头信息的方法
网络爬虫：Requests库入门
MilkLeong的博客
04-11 3002
Requests库主要有七个方法： 1.requests.request() 构造一个请求，支撑以下各方法的基础方法（以下的方法都是通过调用该方法实现的） 2.requests.get() 获取HTML网页的主要方法，对应于HTTP的GET 3.requests.head() 获取HTML网页头信息的方法，对应于HTTP的GET 4.requests.post() 向HTML网页提交POST请求的...
第1关：requests 基础
m0_55900042的博客
01-22 1115
本关任务：编写一个requests请求网页的程序。
数据采集与清洗基础习题（二）Python爬虫常用模块，头歌参考答案
热门推荐
qq_48774513的博客
09-22 1万+
实训六：urllib 爬虫 读取 URL、下载网页是爬虫必备而且关键的功能，需要和 HTTP 请求打交道。而 urllib 是 Python 中的一个功能强大、用于操作 URL 的库。 本实训主要介绍如何使用 urllib 库进行网页爬取。 第1关：urllib基础 本关任务：掌握 urlopen 函数的使用，完成一个简易的爬取程序。 urlopen函数 urlopen 函数是 urllib 模块下的一个方法，用于实现对目标 url 的访问。函数原型如下: import urllib #
【原创】GlidedSky第一关：requests+xpath方法
inganxu
07-31 464
就如CSDN其他的作者说的一样，GlidedSky网站主要是提供给python爬虫感兴趣的伙伴们一个交流练习的网站，希望有同样爱好的伙伴们，在尝试接触该网站前注意作者以下内容： 定位 镀金的天空是一个互联网技能认证网站，要保证用户解出一道题目就意味着拥有了解决类似问题相应的技能，所以会激励以下行为： 解决题目证明自己拥有题目所考核的相关技能。 协助他人学习掌握题目所考核的相关技能。 对应的，会惩罚以下行为： 不具备题目所考核的相关技能的情况下，包括但不限于抄袭答案，代码等形式通过题目。 协助他人
Python爬虫1.3 — requests基础用法教程
让编程改变世界
08-11 1668
Python爬虫 — requests基础用法教程综述requests库介绍requests的安装和文档地址发送get请求发送post请求requests异常处理response的一些属性response.text和response.content的区别其他博文链接 综述 本系列文档用于对Python爬虫技术的学习进行记录总结。 Python 版本是3.7.4 前面我们记述了urllib库的一些用...
Requests库学习(1)：Requests库基础
我心自在天的博客
10-07 329
the website is API Requests：自动爬取HTML页面，自动网络提交请求 1. Requests库的安装 打开控制台，输入： pip install requests 更多安装库的方法可见 请求库的安装：https://blog.csdn.net/yu1069153913/article/details/102159354 2. Requests库的主要方法 Request...
cv2读取和保存图片
最新发布
m0_53291740的博客
07-12 124
cv2.imwrite('b\\img1.png',img)#b存在就可以保存进去。如果b存在，c不存在，程序不会报错，也不会保存图片。如果目录b不存在就会存到当前文件夹。
python-requests 2.1 rpm
12-02
python-requests 2.1 是一个对 Python语言的 ...总之，python-requests 2.1 rpm 提供了一个在 Linux 系统上安装 python-requests 2.1 库的便捷和高效的方法，使得该库可以更加方便地被广泛应用在各种 Python 项目中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值