python爬虫02 - 爬虫请求模块 request库 json数据

最新推荐文章于 2022-08-02 15:55:11 发布
最新推荐文章于 2022-08-02 15:55:11 发布
阅读量2w 收藏 5
点赞数
分类专栏： python爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LonelyDragons/article/details/107618472
版权

1. urllib.request模块

先用之前学到过的方法解决

第一种方法

先创建一个爬取图片.py 在新标签页中打开图片
在这里插入图片描述
这就是该图片的url
在这里插入图片描述

import requests

#图片的url
url='https://ss0.bdstatic.com/94oJfD_bAAcT8t7mm9GUKT-xh_/timg?image&quality=100&size=b4000_4000&sec=1596188551&di=3c06d3cd21c706c6c9c562f2bf76f56e&src=http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg'

req=requests.get(url)

fn=open('code.png','wb')
fn.write(req.content)

fn.close()

执行后
在这里插入图片描述

第二种方法

import requests

url='https://ss0.bdstatic.com/94oJfD_bAAcT8t7mm9GUKT-xh_/timg?image&quality=100&size=b4000_4000&sec=1596188551&di=3c06d3cd21c706c6c9c562f2bf76f56e&src=http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg'

req=requests.get(url)
#
# fn=open('code.png','wb')
# fn.write(req.content)
#
# fn.close()

with open('code2.png','wb') as f:
    f.write(req.content)

在这里插入图片描述

第三种方法

import requests

from urllib import request

url='https://ss0.bdstatic.com/94oJfD_bAAcT8t7mm9GUKT-xh_/timg?image&quality=100&size=b4000_4000&sec=1596188551&di=3c06d3cd21c706c6c9c562f2bf76f56e&src=http://a3.att.hudong.com/14/75/01300000164186121366756803686.jpg'

request.urlretrieve(url,'code3.png')
# req=requests.get(url)
#
# fn=open('code.png','wb')
# fn.write(req.content) #content只是二进制数据
#
# fn.close()
#
# with open('code2.png','wb') as f:
#     f.write(req.content)

运行一下
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

1.1 版本

python2 ：urllib2、urllib
python3 ：把urllib和urllib2合并,urllib.request

1.2 常用的方法

• urllib.request.urlopen(“网址”) 作用 ：向网站发起一个请求并获取响应 (或者是直接获取响应)
• 字节流 = response.read()
• 字符串 = response.read().decode(“utf-8”)
• urllib.request.Request"网址",headers=“字典”) urlopen()不支持重构User-Agent

实际操作

新建一个python文件

import urllib.request


# 向百度发起一个请求  得到一个响应结果 用一个变量接收

response=urllib.request.urlopen('https://www.baidu.com/')

print(response)


<http.client.HTTPResponse object at 0x0000000002504E20>
是一个对象

import urllib.request


# 向百度发起一个请求  得到一个响应结果 用一个变量接收

response=urllib.request.urlopen('https://www.baidu.com/')

#从响应对象中获取数据  read()函数来读取数据
print(response.read())

b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'
咱们拿到的这个response数据应该是网页源码  但是这些太少了

咱们拿到的网页源码应该是这些
在这里插入图片描述
上面操作拿到的显然太少了 原因是百度在这里做了反爬了
咱们换个网站 一会再解决这个问题
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
但是没有文字在这里插入图片描述
因为在这里插入图片描述
这个b bit数据类型 字节
可以查看它的类型

import urllib.request


# 向百度发起一个请求  得到一个响应结果 用一个变量接收

response=urllib.request.urlopen('https://qq.yh31.com/')

#从响应对象中获取数据  read()函数来读取数据
# print(response.read())
html=response.read()
print(type(html))

<class 'bytes'>    类型是字节

但是现在我想看到的是字符串类型
字节转换成字符串 用解码 decode

import urllib.request


# 向百度发起一个请求  得到一个响应结果 用一个变量接收

response=urllib.request.urlopen('https://qq.yh31.com/')

#从响应对象中获取数据  read()函数来读取数据
# print(response.read())
html=response.read().decode('utf-8')

print(html)

在这里插入图片描述

这会就正常了 因为源码实在太多了

咱们再来搞一搞刚才百度的反爬 可能是我们没有添加headers 请求头

import urllib.request


# 向百度发起一个请求  得到一个响应结果 用一个变量接收
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}

response=urllib.request.urlopen('https://www.baidu.com/',headers=headers)

#从响应对象中获取数据  read()函数来读取数据
# print(response.read())
html=response.read().decode('utf-8')

print(html)


TypeError: urlopen() got an unexpected keyword argument 'headers'
类型错误:urlopen（）获得意外的关键字参数“headers”

因为urlopen()这个方法是不支持重构headers的

最终版本

• urllib.request.Request"网址",headers=“字典”)

import urllib.request


# 请求百度的数据(网页源码)
url='https://www.baidu.com/'

headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
#1.创建请求对象(构建User-Agent)
response=urllib.request.Request(url,headers=headers)

#2.获取响应对象(urlopen())
res=urllib.request.urlopen(response)

#3.读取响应对象的内容(read().decode('utf-8'))

html=res.read().decode('utf-8')
print(html)

在这里插入图片描述
这就和用谷歌浏览器打开的百度源码页内容一样了
在这里插入图片描述

1.3 响应对象

• read() 读取服务器响应的内容 （读取到的是一个字节流数据 所以后面要加上.decode()）
• getcode() 返回HTTP的响应码
• geturl() 返回实际数据的URL(防止重定向问题)

import urllib.request


# 请求百度的数据(网页源码)
url='https://www.baidu.com/'

headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
#1.创建请求对象(构建User-Agent)
response=urllib.request.Request(url,headers=headers)


#2.获取响应对象(urlopen())
res=urllib.request.urlopen(response)

#3.读取响应对象的内容(read().decode('utf-8'))

html=res.read().decode('utf-8')
# print(html)
print(res.getcode())#返回状态码

print(res.geturl())# 返回实际的请求网站


200
https://www.baidu.com/

urllib 是python自带的请求模块 request是第三方的请求模块

2. urllib.parse模块

2.1 常用方法

• urlencode(字典) 参数就是字典
• quote(字符串) (这个里面的参数是个字符串)

实际操作0

我们先用百度搜素海贼王
在这里插入图片描述
因为是get请求 请求参数会显示在url上
在这里插入图片描述
后面的参数我们先不看 我们先拿关键的部分
在这里插入图片描述

url='https://www.baidu.com/s?wd=%E6%B5%B7%E8%B4%BC%E7%8E%8B'

我们发现海贼王没了 %E6%B5%B7%E8%B4%BC%E7%8E%8B
原因就是 我们在向一个网页发起请求的时候 比如在百度的搜素框里搜索一个中文 海贼王
也就是它要把中文向服务器提交 但是网站只能识别 ascii 码 也就是英文 它真正提交传输内容的时候是ascii码 是网站给你做了这么一个编码 网页是不识别中文的
所以海贼王变成了十六进制的这么个东西%E6%B5%B7%E8%B4%BC%E7%8E%8B
比如你搜索关键字 比如是用拼串 如果直接加上你要搜索的关键字 (比如美女) 那么你的程序就有可能会出现问题 所以我们要将汉字进行手动的编码
如何进行手动编码呢 就要用到urllib.parse模块的 urlencode( ) 的这个方法

我们先可以试试这个%E6%B5%B7%E8%B4%BC%E7%8E%8B 是不是就是海贼王
三个百分号为一个汉字
那么%E6%B5%B7 就是海 %E8%B4%BC就是贼 %E7%8E%8B就是王
可以使用工具urldecode解码

https://tool.chinaz.com/tools/urlencode.aspx
在这里插入图片描述


import urllib.parse

# url='https://www.baidu.com/s?wd=%E6%B5%B7%E8%B4%BC%E7%8E%8B'


r={
   'wd':'海贼王'}  #这个是字典  传集合 也就是没有键 是会报错的


result=urllib.parse.urlencode(r)

print(result)



wd=%E6%B5%B7%E8%B4%BC%E7%8E%8B

练习一

# 导入模块
import urllib.parse

import urllib.request


#在百度上输入一个内容 例如:美女 数据保存到本地文件  美女.html

#baseurl  初始url
baseurl='https://www.baidu.com/s?'#此处的s?比较重要 不能丢

content=input('你要搜索的内容:')

wd={
   'wd':content}  #当然也可以是d={'wd':content} 前面的那个变量可以随便编  但是key值就是wb 这个不能错

content=urllib.parse.urlencode(wd)

#拼接url
url=baseurl+content

print(url)

你要搜索的内容:美女 #回车   此处可以自行输入内容 
https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3

练习之最终版本

# 导入模块
import urllib.parse

import urllib.request


#在百度上输入一个内容 例如:美女 数据保存到本地文件  美女.html

#baseurl  初始url
baseurl='https://www.baidu.com/s?'#此处的s?比较重要 不能丢

content=input('你要搜索的内容:')

wd={
   'wd':content}  #当然也可以是d={'wd':content} 前面的那个变量可以随便编  但是key值就是wb 这个不能错

content=urllib.parse.urlencode(wd)

#拼接url
url=baseurl+content

headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}

#创建请求对象
req=urllib.request.Request(url,headers=headers)

#获取响应对象
res=urllib.request.urlopen(req)
#读取
html=res.read().decode('utf-8')

#保存文件
with open('美女.html','w',encoding='utf-8')as f:
    f.write(html)

在这里插入图片描述

小结

反爬 ua refer cookie 可以把这些添加进去来反制一些反爬在这里插入图片描述

2.2补充 urllib.parse模块中的两个常用方法

• urlencode(字典) 参数就是字典
• quote(字符串) 这个里面的参数是个字符串

urlencode(字典)

import urllib.parse

baseurl='https://www.baidu.com/s?'


r={
   'wd':'海贼王'}

result=urllib.parse.urlencode(r)

url=baseurl+result
print(url)


https://www.baidu.com/s?wd=%E6%B5%B7%E8%B4%BC%E7%8E%8B

quote(字符串)

quote(引用)

import urllib.parse

key=input('输入内容:')

baseurl='https://www.baidu.com/s?wd='

r=urllib.parse.quote(key)

url=baseurl+r

print(url)


输入内容:姑娘
https://www.baidu.com/s?wd=%E5%A7%91%E5%A8%98

二者区别应该也就是baseurl中的wd=

练习一爬取百度贴吧

在这里插入图片描述
需求:
1输入要爬取贴吧的主题
2输入爬取的起始页和终止页
3把每一页的内容保存到本地
我们可以去网上搜索一些请求头

需求: 1输入要爬取贴吧的主题 2输入爬取的起始页和终止页 3把每一页的内容保存到本地

分析
https://tieba.baidu.com/f?kw=%E4%B8%AD%E5%9B%BD&ie=utf-8&pn=0 第一页
https://tieba.baidu.com/f?kw=%E4%B8%AD%E5%9B%BD&ie=utf-8&pn=50 第二页https://tieba.baidu.com/f?kw=%E4%B8%AD%E5%9B%BD&ie=utf-8&pn=100 第三页
pn=(当前页数-1)*50kw 贴吧的主题

import random
import urllib.request
import urllib.parse
#随机获取一个user-agent


headers_list = [{
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'},{
   'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'},{
   'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'}]

headers=random.choice(headers_list)

name=input('请输入贴吧名:')

start=int(input('请输入起始页:'))
end=int(input('请输入结束页:'))

#对贴吧名name做个编码
kw={
   'kw':'%s'%name}

kw=urllib.parse.urlencode(kw)

#开始拼接url 发起请求 获取响应
for i in range(start,end+1):
    #开始拼接url

    pn=(i-1)*50
    baseurl='https://tieba.baidu.com/f?'

    url=baseurl+kw+'&pn='+str(pn)# 因为这是一个字符串的拼串
    #创建请求对象
    req=urllib.request.Request(url,headers=headers)
    #获取响应对象
    res=urllib.request.urlopen(req)
    #读取
    html=res.read().decode('utf-8')
    #写入文件
    filename='第'+str(i)+'页%s贴吧.html'%name
    with open(filename,'w',encoding='utf-8') as f:
        print('正在爬取%d页'%i)
        f.write(html)

练习二爬取百度贴吧(引入函数)

import urllib.request
import urllib.parse

#读取页面
def readPage(url):
    headers={
   'User-Agent'
最低0.47元/天 解锁文章
烈风回响
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
48、mmpose中hrnet关键点识别模型转ncnn和mnn,并进行训练和部署
sxj731533730
08-21 3150
需要一个关键点识别模型，在权衡simplepose 、paddlepose、mmpose之后，发现simplepose需要mxnet（qiuqiu大佬）支持，paddlepose的部署存在易用性问题，也可能我不熟悉.测试了paddleDetection的关键点检测，模型的确转换很容易转，但还是想迁移到ncnnn和mnn去完成任务，同时还在学习TensorRT基本知识，有个onnx还是必须的，反正找理由不用它而已，哈哈，在测试mmpose感觉还可以，毕竟还有mmploy支持部署，应该不用去改源码支持模型转换，
whms 原版面板+星外面板修复CDN以及部分修改
04-15
这是我搭建过程中发现的vhms要修改的内容，以及添加备案和版权信息，因为没有改太多，无本人添加的恶意代码
vue嵌入app中——首次加载慢的动画
热门推荐
未来以来 futureToday
02-25 45万+
背景：项目首次加载过慢，需要下载的资源比较大；白屏时间过长，导致用户体验不好； 解决办法：index.html 下载完，（首页下载完）就像执行动画 伸手党代码： 加粗样式 <script> //在页面未加载完毕之前显示的loading Html自定义内容 var _LoadingHtml = ` <div id="loadingDiv" style="position:absolute;left:50%;top:50%;margin-left:-35px;margi
js中最简单base64图片流实现自动下载
最新发布
晚风的博客
08-02 6万+
js中base64图片流实现自动下载
书签
追随内心
06-03 10万+
<!DOCTYPE NETSCAPE-Bookmark-file-1> <!-- This is an automatically generated file. It will be read and overwritten. DO NOT EDIT! --> <META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=UTF-8"> <TITLE>Bookmarks</.
爬虫网络请求模块-urllib-requests-python爬虫知识点2
weixin_43761516的博客
04-22 798
爬虫网络请求模块 urlib python内置的网络请求模块 为什么要学习这个模块 1.有些比较老的爬虫项目就是这个技术 2.有的时候我们去怕一些数据需要reque+urlib模块进行配合 3.内置的 发出请求 获取响应 解析响应 url=’’ response=requests.get(url) with open(‘photo.png’,‘rb’) as f: f.write(response.content) from urllib import requests request.urlretri
python爬虫 urllib模块发起post请求过程解析
09-18
在Python爬虫开发中，发起HTTP请求是常见的任务，其中POST请求常用于提交数据到服务器。本篇主要讲解使用urllib模块发起POST请求的过程，以爬取百度翻译为例，帮助理解这一操作。 首先，我们需要了解POST请求的基本...
使用Python爬虫库requests发送表单数据和JSON数据
12-20
了解并熟练掌握`requests`库的使用，对于进行Python爬虫开发至关重要。通过上述方法，你可以更有效地与服务器交互，获取和发送所需的数据。同时，配合其他库如`BeautifulSoup`, `selenium`, `urllib`等，可以构建出...
Python爬虫实例-urllib-request-parse等包的学习实例
08-18
Python爬虫实例-urllib，request，parse，json等包的应用
python爬虫实现POST request payload形式的请求
12-20
总之，理解`request payload`与`form data`的区别，并能用Python的`requests`库正确构造和发送POST请求，是Python爬虫开发中不可或缺的技能。在实际应用中，我们应根据目标网站的具体需求来选择合适的数据格式和方法...
react 首页加载loading
weixin_30855761的博客
10-19 8万+
首页加载loading，放在#root里面，代码如下： <!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <meta name="renderer" content="webkit|ie-comp|ie-stand"> ...
http://91.3p7.us/index.php,bee/new.go at b412890c3385694a5a0034d07c703f1eabd3a22e · ws6/bee · GitHub...
weixin_42348783的博客
03-16 30万+
background-image: url('data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAMgAAADICAYAAACtWK6eAAAgAElEQVR42uy9d5Rd13Xm+TvnxhfrVS5UIRSIQEIAQUpMIKlEylGWZblbTi27veyWJXcvjZqW7TVrrPG0Q0vyTKtHtnuWou0ZS1Y7yDOyksd...
爬虫 第二讲 urllib模块和requests模块
yangyusir的博客
04-20 11万+
一、urllib模块 1.什么是urllib模块？ python内置的网络请求模块 2.urllib.request模块 python2 ：urllib2、urllib python3 ：把urllib和urllib2合并 3.常用的方法 urllib.request.urlopen(“网址”) 作用 ：向网站发起一个请求并获取响应 字节流 = response.read() 字符串 = response.read().decode(“utf-8”) urllib.request.Request(“网
base64图片标准格式
u010227042的博客
12-05 3万+
data:image/png;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDAsLDBkSEw8UHRofHh0aHBwgJC4nICIsIxwcKDcpLDAxNDQ0Hyc5PTgyPC4zNDL/2wBDAQkJCQwLDBgNDRgyIRwhMjIyMjIyMjIyMjIyMjIyMjIyMjIyMjIyMj...
书签备份
Zhang_Jian
09-15 25万+
Bookmarks 书签菜单 Recently Bookmarked 最近使用的标签 Ubuntu and Free Software links Information and resources about Ubuntu, Debian and Free Software in general Ubuntu
网易云音乐移动端项目实战(分解下)
可可的博客
01-05 3万+
网易云音乐移动端项目实战(分解下) 一、搜索页面与历史搜索记录 <template> <div class="listviewTop"> <div class="listViewTopNav"> <div class="back" @click="$router.go(-1)"> <svg class="icon" aria-hidden="true"> <use xlink:hre
vue pc端打印二维码
jingruoannan的博客
07-12 38万+
import Vue from "vue"; let a = "data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAeAAAAKoCAYAAACvNywJAAAABHNCSVQICAgIfAhkiAAAIABJREFUeF7svQmcZVdV73+6q7tr6Bq6q+fupDN15lETZEgkiIkSME4BgYeAQp78ow/Rv/8HweERnnwk8p5/RP+apwQUkI9IiCI8jRoQ0BDgETAkIWNn6KTn6qGqurrmqv6v7.
apache 的基本信息及相关设置
awoyaoc的博客
05-28 1040
1.apache 简介 Apache HTTP Server（简称 Apache）是 Apache 软件基金会的一个开放源码的网页服务器，可以在大多数计算机操作系统中运行，由于其多平台和安全性被广泛使用，是最流行的 Web 服务器端软件之一。它快速、可靠并且可通过简单的 API 扩展，将 Perl/Python 等解释器编译到服务器中。 主配置目录：/etc/httpd/conf 主...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值