python 爬虫urllib.request

最新推荐文章于 2022-08-20 19:23:13 发布
最新推荐文章于 2022-08-20 19:23:13 发布
阅读量197 收藏
点赞数
分类专栏： Python python爬虫 文章标签： python 爬虫 urllib 请求发送 request
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuefei169/article/details/88565591
版权

urllib.request.urlopen()

urllib.request是一个提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时还可以处理授权验证、重定向、浏览器Cookies以及其他内容

urllib.request的类型为HTTPResponse,它主要包含额read()、readinfo()、getheader(name)、getheaders(),fileno等方法，以及msg、version、status、reason、debuglevel、closed等属性

例如：

import urllib.request

# 这里的url为我自己的域名主机，大家可以根据自己的实际情况选择自己的域名，当然，你也可以选择python的主页https://www.python.org
url=‘https://www.cnbly.cn’
response = urllib.request.urlopen('url')
# 打印request获取到的请求信息，read()返回网页信息
print(response.read().decode('utf-8'))   
# status 返回连接结果的状态
print(response.status)
          

# 获取response的数据类型
print('这是获取到的response的数据类型 %s' %  type(response))

执行结果如下：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>首页</title>
    <meta name="viewport" content="width=device-width, initial-scale=1">
    <link rel="stylesheet" href="/static/css/bootstrap.min.css">
    <style>
        .banner{background-image: url("/static/imgs/banner.jpg"); height: 200px; background-size: 100%;}
        .footer{text-align: center}
        .main{margin: 10px 0;}
    </style>
</head>
<body>
<div class="container">
    <div class="banner"></div>
    <div class="main">
    <div class="row">
        <div class="col-md-3 text-center">
            <a href="/webansi/" target="_blank">
                <img class="img-thumbnail" src="/static/imgs/linux.jpg" width="150px" alt="">
                <p>主机信息</p>
            </a>
        </div>
        <div class="col-md-3 text-center">
            <a href="/webansi/addhosts/" target="_blank">
                <img class="img-thumbnail" src="/static/imgs/linux.jpg" width="150px" alt="">
                <p>添加主机</p>
            </a>
        </div>
        <div class="col-md-3 text-center">
            <a href="/webansi/addmodules/" target="_blank">
                <img class="img-thumbnail" src="/static/imgs/linux.jpg" width="150px" alt="">
                <p>添加模板</p>
            </a>
        </div>
        <div class="col-md-3 text-center">
            <a href="/webansi/tasks/" target="_blank">
                <img class="img-thumbnail" src="/static/imgs/linux.jpg" width="150px" alt="">
                <p>执行任务</p>
            </a>
        </div>
    </div>
</div>
    <div class="footer">
        <a href="http://jcaesd.com" target="_blank">惠州联创达静电设备有限公司</a>
        客服电话：0752-*** 邮箱：admin@jcaesd.com
    </div>
</div>
<script src=/static/scripts/jquery.min.js></script>
<script src=/static/js/bootstrap.min.js></script>
</body>
</html>

这是获取到的response的数据类型 <class 'http.client.HTTPResponse'>

 

 

JensYue
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2021-06-18
qq_51723459的博客
06-18 1599
下列状态码中，表示服务器拒绝访问的是（）。 答案：40355. 下列报头中，用于表明客户端希望接收HTML文本的是（）。答案：Accept：text/html56. urllib.parse模块的（    ）函数，用于对URL进行编码。答案：urlencode57. requests库的（     ）函数，用于构建一个HTTP请求。答案：request()58. 标准库json中的（    ）函数用于将JSON格式的字符串解码转换为Python对.
Python 爬虫：urllib.request
plychoz的博客
02-28 773
urllib.request.urlopen(url) :网络请求 urllib.parse.quote(url, safe=string.printable)：将字符串转化成python解释器可以看懂的ascii形式 urllib.parse.urlencode(dict) ：将字典转化成URL中的参数形式 import urllib.request def load(): ...
Python爬虫之Urllib
m0_60121089的博客
08-20 1521
urllib.request库主要用来获取网页的源码，需要找准是get请求还是post请求，分析合适的网络接口对应的请求头，数据等等。需要UA就需要请求对象的定制，需要动态cookie或者代理就需要更高级的请求头，用到handler
Python爬虫核心知识-第二章：2.1 爬虫urllib.request请求模块
全村最好捉的羊
04-24 2268
Python爬虫核心知识-第二章：2.1 爬虫urllib.request请求模块
Python之urllib爬虫-request模块和parse模块详解
有一分热，发一分光。
03-19 7950
urllib是Python中用来处理URL的工具包，本文利用该工具包进行爬虫开发讲解，毕竟爬虫应用开发在Web互联网数据采集中十分重要。
Python爬虫入门：urllib.request.Request详解
菜鸟也要高飞
07-21 4万+
Python爬虫入门：urllib.request.Request详解Request简介基本用法参数解析用法 Request简介 urlopen()方法可以实现最基本的请求的发起，但如果要加入Headers等信息，就可以利用Request类来构造请求。 使用方法为：urllib.request.Request(url, data=None, headers={}, origin_req_host=...
Python网络爬虫（一）---urllib
qq_42366884的博客
09-03 794
什么是网络爬虫 网络爬虫英文可以叫crawler，也可以叫spider，简而言之就是利用计算机从网上抓取你所感兴趣的文件、图片、视频等。其实在大多数情况下，没有什么网络爬虫，我们也可以根据自己所需要的，通过浏览器从网上下载东西，（而网络爬虫的实质也是在模仿浏览器进行一系列的操作）但是如果我们所要的东西特别多时，例如要下载10000张图片，一个个用手去点岂不太麻烦了，所以我们需要利用到计算机来帮助我...
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
3. 发起请求：使用`urllib.request.urlopen()`获取网页内容，内容以字节形式返回，通常需要解码为字符串。 4. 解析HTML：将获取的HTML内容传给`BeautifulSoup`，并指定解析器（如`html.parser`）。然后，可以使用...
Python urllib.request对象案例解析
12-17
Python的`urllib`库是进行网络数据请求和处理的基础工具，特别在Web爬虫领域中扮演着重要的角色。这个库包含多个子模块，每个子模块都有特定的功能，旨在简化HTTP和其他协议的数据获取。 1. **urllib.request**模块...
python中urllib.request和requests的使用及区别详解
09-16
web_page = urllib.request.urlopen(url) print(web_page.read().decode('utf-8')) ``` 但是，当需要添加自定义Header（如User-Agent）时，`urllib.request`需要使用`Request`类来构建请求对象： ```python ...
Python爬虫基础教程-Urllib详解.pdf
最新发布
06-12
Python的Urllib库是进行网络数据获取的重要工具，尤其在编写爬虫程序时。它集成了多种处理URL的模块，方便开发者对网络资源进行...总的来说，掌握Urllib库是Python爬虫开发的基础，也是进一步深入学习网络编程的关键。
用urllib.request进行的python爬虫
ORACgmx的博客
04-07 941
本文作者我是采用的urllib.request，没有的的小伙伴请在命令行用pip install urllib下载一下啦 首先导入urllib.request这里用import urll.b.request 接下来就是询问要爬取的网址，用request = urllib.request.Request(这里写你要的网址，也可以用input语句) 再往后用response = urllib.request.urlopen(request) html = response.read().decode('
Python3爬取网页图片(BeautifulSoup+requests+urllib.request)
zhj_1121的博客
02-26 2137
Python3爬取网页图片(BeautifulSoup+requests+urllib.request) 背景 使用的第三方库 关键代码，即对应上方的第三方库 开发步骤 1.获取网页的所有的html内容 2.进行筛选处理，获取需要的的标签和属性 3.进行简单的逻辑处理，对上面获得的属性内容进行筛选，获取图片链接 4.通过命令进行爬取 全部代码 总结 背景 看到一个关...
python urllib.request 爬虫 数据处理-Python爬虫学习之（二）| urllib进阶篇
weixin_37988176的博客
11-01 279
作者：xiaoyu微信公众号：Python数据科学知乎：Python数据分析师前情回顾，urllib的基本用法urllib库的基本组成利用最简单的urlopen方法爬取网页html利用Request方法构建headers模拟浏览器操作error的异常操作具体内容参见Python从零学爬虫。urllib库除了以上基础的用法外，还有很多高级的功能，可以更加灵活的适用在爬虫应用中，比如：使用HTTP的P...
爬虫：urllib.request方法获取某一网页html信息
qq_41116319的博客
06-10 1551
爬虫：urllib.request方法获取某一网页html信息
python爬虫入门（一）urllib和urllib2
weixin_34129696的博客
02-14 295
爬虫简介  什么是爬虫？ 爬虫：就是抓取网页数据的程序。 HTTP和HTTPS HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。 HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加入SSL层。 SS...
Python爬虫入门：urllib.request.urlopen详解
菜鸟也要高飞
07-21 3万+
Python爬虫入门：urllib.request.urlopen详解urlopen简介基础用法urlopen(url)功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML...
python3网络爬虫一《使用urllib.request发送请求》
热门推荐
软件测试技术的博客
10-23 7万+
python 爱好者交流群：810306356 这里有很多像你一样的伙伴，共同分享学习python的经验！ 使用urllib 在Python2版本中，有urllib和urlib2两个库可以用来实现request的发送。而在Python3中，已经不存在urllib2这个库了，统一为urllib。Python3 urllib库官方链接 https://docs.pytho...
Python爬虫之urllib.request的使用
Stillboring的博客
05-08 1313
需要的模块 urllib.request 获取get一个请求 这里以百度为例 r = urllib.request.urlopen("http://www.baidu.com") 获取之后我们输出r可以发现r是一个对象 <http.client.HTTPResponse object at 0x000002AE92E36040> 可以使用read()方法将该对象...
python 里urllib.request库
02-06
urllib.request是Python内置的一个库，提供了各种方法来处理URL请求。它提供了一些类来处理不同协议的URL，例如HTTP、FTP、FILE等。urllib.request库可以用来发送HTTP请求、接收响应、抓取网页内容等。你可以使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值