大数据预处理与采集实验三：Urllib的GET和POST请求（1）

最新推荐文章于 2024-07-21 22:04:22 发布
最新推荐文章于 2024-07-21 22:04:22 发布
阅读量289 收藏
点赞数
分类专栏： 大数据采集 文章标签： 机器学习 数据挖掘 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_60530224/article/details/134137763
版权

目录

Urllib基本操作-GET

➢没有进行utf-8编码的输出

➢经过utf-8decode之后的输出

➢ Timeout参数：捕获由于连接超时而引发的异常

◆Urllib基本操作-定制请求头 

➢ 在GET请求中加入多个访问参数

◆Urllib基本操作-POST

➢有道词典网页爬取：找到的数据包的Headers，可以记录下请求的相关数据

➢查看请求携带参数

Urllib3

◆Urllib3完成get请求

Urllib基本操作-GET

➢ 先导入urllib模块，定义想要访问的网址，使用urlopen()对参数中的URL发送请求
➢ urllib.request.urlopen( url, data=None, [timeout, ] *, cafile=None,
capath=None, cadefault=False, context=None)
# 使用urllib来获取百度首页的源码
import urllib.request
# 1.定义一个url 就是要访问的地址
url = ‘http://www.baidu.com’
# 2.模拟浏览器向服务器发送请求（需要联网） response=响应
response = urllib.request.urlopen(url)
# 3.获取响应中的页面源码 content内容的意思
content = response.read()
# read方法 返回的是字节式的二进制数据
print(content)
# 我们要将二进制数据转换为字符串，二进制-->字符串 解码 decode('编码的格式')
content = response.read().decode( 'utf-8’ )
print(content） 
# 使用urllib来获取百度首页的源码
import urllib.request

# 1.定义一个url 就是要访问的地址
url = 'http://www.baidu.com'

# 2.模拟浏览器向服务器发送请求（需要联网） response=响应
response = urllib.request.urlopen(url)

# 3.获取响应中的页面源码 content内容的意思
content = response.read()
print(content)
# read方法 返回的是字节式的二进制数据
# 我们要将二进制数据转换为字符串
# 二进制-->字符串 解码 decode('编码的格式')
content = response.read().decode('utf-8')  # 这一步非常重要


# 4.打印数据
print(content)

# #获取状态码 如果是200了，那么就证明我们的逻辑没有错
#print(response.getcode())
#
# #返回url地址
#print(response.geturl())
#
# #获取是一个状态信息
#print(response.getheaders())

➢没有进行utf-8编码的输出

➢经过utf-8decode之后的输出

➢ Timeout参数：捕获由于连接超时而引发的异常 

# 使用urllib来获取百度首页的源码
import urllib.request

# 1.定义一个url 就是要访问的地址
url = 'http://www.baidu.com'

# 2.模拟浏览器向服务器发送请求（需要联网） response=响应
response = urllib.request.urlopen(url)

# 3.获取响应中的页面源码 content内容的意思
content = response.read()
print(content)
# read方法 返回的是字节式的二进制数据
# 我们要将二进制数据转换为字符串
# 二进制-->字符串 解码 decode('编码的格式')
content = response.read().decode('utf-8')  # 这一步非常重要

# # timeout 参数
response = urllib.request.urlopen('http://httpbin.org/get', timeout=1)
print(response.read())

import socket
import urllib.error
#
try:
     response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
except urllib.error.URLError as e:
  if isinstance(e.reason,socket.timeout):
       print('TIME OUT')


# 4.打印数据
print(content)

# #获取状态码 如果是200了，那么就证明我们的逻辑没有错
#print(response.getcode())
#
# #返回url地址
#print(response.geturl())
#
# #获取是一个状态信息
#print(response.getheaders())

◆Urllib基本操作-定制请求头 

➢ 在爬取网页的时候，输出的信息中有时候会出现“抱歉，无法访问”等字眼，这就是禁止爬
取，需要通过定制请求头Headers来解决这个问题。定制Headers是解决requests请求被拒
绝的方法之一，相当于我们进入这个网页服务器，假装自己本身在爬取数据。请求头
Headers提供了关于请求、响应或其他发送实体的消息，如果没有定制请求头或请求的请求
头和实际网页不一致，就可能无法返回正确结果。
➢ 获取一个网页的Headers的方法如下：使用360、火狐或谷歌浏览器打开一个网址（比如
“http://www.baidu.com”），在网页上单击鼠标右键，在弹出的菜单中选择“查看元
素”，然后刷新网页，再按照如图3-4所示的步骤，先点击“Network”选项卡，再点击
“Doc”，接下来点击“Name”下方的网址，就会出现类似如下的Headers信息：
➢ User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,
like Gecko) Chrome/46.0.2490.86 Safari/537.36

 

 

➢ 在GET请求中加入访问参数：在百度中搜索北京，获取搜索结果页面
• 是否可以直接定义url=https://www.baidu.com/s?wd=北京？
• 不可以，默认只搜索ascii编码，没有北京这两个字，所以需要把它变成unicode让机器识别 

# #get请求中加入访问参数
import urllib.request
import urllib.parse
#直接复制一些搜索北京的网址：
# https://www.baidu.com/s?wd=%E5%91%A8%E6%9D%B0%E4%BC%A6

# 需求：获取https://www.baidu.com/s?wd=北京的网页代码
# 是否可以直接定义url=https://www.baidu.com/s?wd=北京？
#不可以，默认只搜索ascii编码，没有北京这两个字，所以需要把它变成unicode让机器识别

# 寻找url
url = "https://www.baidu.com/s?wd="
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.66 Safari/537.36 Edg/103.0.1264.44'
}
# 使用quote方法进行编码转换
name = urllib.parse.quote("北京")
# 组装url
url = url + name
# print(url)
# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)
# 向服务器发请求
response = urllib.request.urlopen(request)
# 获取响应信息
content = response.read().decode('utf-8')
# 打印响应信息
print(content)

#多于一个参数时，请求头定制
#参数不止有一个，可以用&符号链接多个，假设我们加一个两会。出现一个问题，不仅要把北京编码unicode，还要把两会也编码，可以用quote逐个转换，但效率低，且要拼接。要解决多参数问题，可以用urlencode帮助我们
#urlencode要求里面的参数以字典形式存在，逗号分割

➢ 在GET请求中加入多个访问参数

• 参数不止有一个，可以用&符号在转换后进行链接。
• 为方便解决多参数转换及拼接问题，可以用urlencode帮助我们;urlencode要求里面的参数
以字典形式存在，逗号分割 

import urllib.request
import urllib.parse
url = 'https://cn.bing.com/search?'

data={
        'go':'搜索',
        'q':'北京 天气'
     }
new_data = urllib.parse.urlencode(data)
print(new_data)
headers={
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    'Cookie': 'BIDUPSID=83261851D92939FFFF2D2C3800B6CCA2; PSTM=1574440855; __yjs_duid=1_6e86551c30fb47a64a0c5e667dea7db81620194211269; BD_UPN=12314753; BAIDUID=ED1F16239BBD2AB0CF8AF7923E3A68DE:FG=1; ispeed_lsm=2; BDUSS=XVyNi1XcXZ-eTJCMnhzeURYYUstOGh0T3N1WnN0cTIwRGNrRDczRlJsY2ptMXhqRVFBQUFBJCQAAAAAAAAAAAEAAAD-PGUJt8W~1V9pbmcAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACMONWMjDjVjb; BDUSS_BFESS=XVyNi1XcXZ-eTJCMnhzeURYYUstOGh0T3N1WnN0cTIwRGNrRDczRlJsY2ptMXhqRVFBQUFBJCQAAAAAAAAAAAEAAAD-PGUJt8W~1V9pbmcAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACMONWMjDjVjb; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BA_HECTOR=8l0g0l2ga00h25a52g81dkhm1hk9pd81a; BAIDUID_BFESS=ED1F16239BBD2AB0CF8AF7923E3A68DE:FG=1; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; delPer=0; BD_CK_SAM=1; PSINO=7; ZFY=SR4hfozWRIXmU7ouv2ASem0KdSz0WImntiWy4T8Nftw:C; BD_HOME=1; baikeVisitId=53b5daaa-05ec-4fc4-b9d5-a54ea3e0658d; H_PS_PSSID=37542_36559_37561_37550_37299_36885_34813_37486_37402_36805_37406_36786_37482_37497_26350_37365_37455; H_PS_645EC=878fjGnEi%2FQTHR5lTn8cql%2FqGCKSJk5xVRVe%2FWpoH2dRPvRJayxDhPJv8U3BoEGTXa%2Bd; COOKIE_SESSION=1103_9_9_9_19_6_0_0_9_2_0_0_2611_8863_3_0_1665474424_1665471813_1665474421%7C9%23358_1132_1665459981%7C9; BDSVRTM=0'
}
url=url+new_data
print(url)
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
print(content)

◆Urllib基本操作-POST

➢ urllib.request模块实现发送POST请求获取网页内容的实例
➢ post请求的参数，一定要先进行编码，使用url.parse.urlencode，返回值类型是字
符串类型
➢ 编码结果还需要转换成byte类型：之前定义的data是字符串类型。而发送请求的
request中，要求的data是byte字节型（否则urlopen时报错）
可以使用data = bytes(data, ‘utf-8’) 也可以 data = data.encode('utf-8')
➢ 与GET请求不同，post参数不是直接拼在url后面，而是放在请求对象的参数里面

➢有道词典网页爬取：找到的数据包的Headers，可以记录下请求的相关数据

➢ 请求链接https://dict.youdao.com/jsonapi_s?doctype=json&jsonversion=4
➢ 请求方式：POST请求头

 

 

import urllib.request
import urllib.parse

# 请输入您要翻译的内容
content ='你好'       #最后用input('请输入您要翻译的内容:')替代'你好'
url = 'https://dict.youdao.com/jsonapi_s?doctype=json&jsonversion=4'
headers = {
  "Cookie": 'OUTFOX_SEARCH_USER_ID=-1124603977@10.108.162.139; JSESSIONID=aaamH0NjhkDAeAV9d28-x; OUTFOX_SEARCH_USER_ID_NCOO=1827884489.6445506; fanyi-ad-id=305426; fanyi-ad-closed=1; ___rl__test__cookies=1649216072438',
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36"
}
# 携带数据
data = {
    'q': content,
    'le': 'ja',
    't': '9',
    'client': 'web',
    'sign': '520a657bfae6f88b2deaa67067865128',
    'keyfrom': 'webdict',
   }


data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url, data=data)
res = urllib.request.urlopen(req)
html = res.read().decode('utf-8')
print('翻译结果：\n', html)

➢查看请求携带参数

当我们查询的词不一样的时候，sign这个参数会不同

当我们查询的所用语言不一样的时候，le这个参数会不同

Urllib3

➢ urllib3是一个功能强大、条理清晰、用于HTTP客户端的Python库，许多Python的
原生系统已经开始使用urllib3。urllib3提供了很多python标准库里所没有的重要特
性，包括：线程安全、连接池、客户端SSL/TLS验证、文件分部编码上传、协助处
理重复请求和HTTP重定位、支持压缩编码、支持HTTP和SOCKS代理、100%测试
覆盖率等。
➢ 在使用urllib3之前，需要打开一个cmd窗口使用如下命令进行安装 
​​​​​​​pip install urllib3

◆Urllib3完成get请求 

import urllib3
http=urllib3.PoolManager()
response=http.request('GET','http://www.baidu.com'
)
print(response.status)
print(response.data)

Blossom i
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【php插件】内容采集中实现再次post请求
九九网络工作室
08-11 3236
针对一些需要post才能采集到信息的网站， 火车头列表页可以实现post请求， 但是，内容页的数据也需要post的话，就没有办法了， 所以在网上找了一段代码，可以实现内容页再次进行post请求， <?php error_reporting(E_ERROR | E_WARNING | E_PARSE); header("Content-type: text/html; charset=utf
post方式采集网页数据-php采集网页-php爬虫视频教程7
10-20 745
在用php批量采集时， 会遇到一些网站要求使用post的方式提交数据， 然后才台获取到网页内容。 最常见的方式就是 网站接口开发，例如微信开发时，有些接口就是使用 post 提交数据 需要用户登录后，才能看到网页内容 有些列表页翻页时，是使用post提交页数的 来看看php怎么带post数据获取网页信息…
Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器）
weixin_55154866的博客
09-09 3272
网络爬虫就是按照一定规则，自动抓取互联网信息的程序或脚本，由于互联网数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析就是爬虫要做的工作为什么我们把它称为爬虫（Spider）嘞？互联网就像是一张大网，而每一个网页就是这张大网上的每一个结点，这些结点间的通信和跳转通过链接来实现，而这个链接就是互联网这张大网上结点之间的连线，爬虫到达一个结点就意味着可以爬取这个页面的信息，当爬虫顺着这些连线（链接）爬向不同的结点（网页）时，就可以爬取到整个网站的信息。
python爬虫使用urllib的post请求注意事项
2401_82591739的博客
01-12 472
将data你要传送的kv编码为utf-8。
Python爬虫urllib发送post请求
yqqの博客
02-28 672
POST请求的参数需要放到Request请求对象中，data是一个字典，里面要匹配键值对。在目前网络获取数据的方式有多种方式：POST。
Python爬虫——urllib_post请求百度翻译
错过人间飞鸿的博客
07-13 2129
urllib_post请求
python urllib发送post请求_python简单爬虫一\python自带的urllib发送get请求和Post请求...
weixin_39790168的博客
12-03 419
======简答的爬虫===========简单的说，爬虫的意思就是根据url访问请求，然后对返回的数据进行提取，获取对自己有用的信息。然后我们可以将这些有用的信息保存到数据库或者保存到文件中。如果我们手工一个一个访问提取非常慢，所以我们需要编写程序去获取有用的信息，这也就是爬虫的作用。一、概念:网络爬虫，也叫网络蜘蛛(Web Spider)，如果把互联网比喻成一个蜘蛛网，Spider就是一只在网...
php post 默认值,PHP的post数据与request数据
weixin_42551508的博客
03-10 342
PHP的post数据与request数据$_POST变量(数组)类似$_GET变量(数组)，$_POST代表页面通过post方式提交过来的数据所形成的数组。post提交数据，通常只有一种形式：Project 1:Project 2:其作用是：用户填写表单数据，并提交后，会将数据发送(提交)给页面abc.php，其实也可以理解为“打开”该网页(abc.php)，还可以理解为“请求”该网页(abc.p...
python 字典字符串转字典——urllib.request.Request发送get,post请求，发送json参数
风吹草低见牛羊
11-06 6414
eval方法即可 file_content = eval(file_content)
采集post传输的数据
weixin_30950887的博客
06-07 310
采集数据，网页上的数据是开发者通过ajax的post方式显示的，就得用到curl以及它的跨域方法 代码: $post_data------post传过去的参数 $ch = curl_init(); $url = 'http://www.95598.cn/95598/outageNotice/queryOutageNoticeList; curl_setopt(...
火车头采集post分页采集超强解决方案
热门推荐
的
06-20 2万+
火车头采集中经常遇到分页采集，普通的分页采集大家可以很容易的处理，但是如果是post分页采集那就需要借助其他的一些火车头插件或者程序来处理了，下面以顺德房产网http://house.shunde.net.cn/sellhouse.aspx 为实例，需要你掌握一些php的基础知识这类post分页与普通的不同就是在于，post数据中分页部分并不是一页页递增的，而是每10页是一栏（每一栏分
使用PHP的CURL模拟POST采集开了viewstate的asp.net网页数据
Allen_Tsang的博客
07-27 2042
/**     QQ群:223494678     函数:模拟post得到所有分页的页面信息     参数:         string $EVENTARGUMENT         string $VIEWSTATE         string $EVENTVALIDATION         string $EVENTTARGET     返回:         stri
火车头php post提取内容,【火车头采集教程】轻而易举学会火车头采集(附带采集案例)...
weixin_34312149的博客
03-27 3390
咔咔不会用python，也没打算为了爬点东西就去学python。时间成本不允许我这样做于是咔咔使用了一款工具，火车头采集工具这款工具学会了很简单，不会的全是问题下来咔咔会把这个工具的从开始到结束的实现流程写出来此篇文章用时俩天完成，咔咔也是从一个小白摸索过来的，网上的文章我是看的一头雾水，就写了一篇，希望可以帮助到大家基础准备1.下载火车头采集工具火车头工具有可能需要登录，自己看2.认识火车头we...
火车头免费版 post 只采集列表页面内容
bestmover的博客
09-01 4784
如果想post只采集列表页面不可能  火车头只会先获取列表页面 再从列表页面获取内容页面进行采集 ， 如果我想只采集列表页面的容易有方法吗 我是这样做的 我自己写了个php页面， 从列表页面上面提取参数出来，再将参数发给我自己的页面 ，我在自己的php页面中将采集的数据保存起来  这样就把列表内容采集到了  如果谁还有好的方法 可以发到我的邮箱里面460786194@qq.com
【机器学习】机器学习概观之频率视角下的机器学习和贝叶斯视角下的机器学习以及两者的区别
最新发布
m0_49243785的博客
07-21 517
参数确定，数据随机数据确定，参数随机。
【机器学习】Scoring Model Scores: 理解、设计与优化评分模型
2301_81771576的博客
07-18 334
最后，模型部署是将训练好的模型应用于新数据，生成评分，可能需要与现有业务系统集成[^1^]。AUC是评估二分类模型性能的重要指标，它衡量了ROC曲线下的面积，值范围在0到1之间，AUC越高，表明模型的性能越好。例如，金融机构使用评分模型来评估信贷申请人的违约风险，而电商网站则利用评分模型预测用户对产品的兴趣程度，提供个性化的商品推荐[^1^]。构建评分模型时应关注数据质量、特征选择、模型算法及评估指标，同时通过不断优化和更新，确保模型在实际应用中的准确性和可靠性。
生成对抗网络（GAN）：目标检测的新前沿
2401_85763639的博客
07-21 262
生成对抗网络是由Goodfellow等人在2014年提出的一种深度学习模型，它由两部分组成：生成器（Generator）和判别器（Discriminator）。生成器致力于产生逼真的数据，而判别器则尝试区分真实数据与生成数据。两者在训练过程中相互竞争，推动生成的数据质量不断提升。
【机器学习】机器学习的基本知识点（包括背景、定义、具体内容、功能、使用场景、操作、未来发展和常见算法）
m0_49243785的博客
07-21 928
机器学习是人工智能的一个分支，它使计算机系统能够从数据中学习并做出预测或决策，而不是依赖于严格的编程指令。机器学习的基本概念可以理解为计算机通过数据分析和模式识别来“学习”的过程。这个过程通常包括建立模型、用数据训练模型、以及利用训练后的模型进行预测或分类
人工智能与机器学习原理精解【2】
应用数学
07-21 854
下面内容来自文心一言的自动生成机器学习中的回归是一种预测数值型目标变量的监督学习算法。与分类问题不同回归问题的目标是预测一个连续的值，而不是一个离散的类别标签。回归模型通过学习输入变量（也称为特征或自变量）与输出变量（也称为目标变量或因变量）之间的关系来工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值