python爬虫urllib库的使用的问题

最新推荐文章于 2020-11-23 22:54:06 发布
最新推荐文章于 2020-11-23 22:54:06 发布
阅读量169 收藏
点赞数
分类专栏： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a13697013326/article/details/85040215
版权

   最近借了几本爬虫的书，了解了urllib库的基本用法，但是却出现了这个问题，如图

   

    运用urllib库请求12306解码后下面空了一行，啥都没出现，但是如果爬取python官网却可以出现爬取的代码。不知道为什么会有这种情况。

  但是之前我运用request库却能爬出来，难道说urllib库不行？

 

a13697013326
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
3 静态网页爬取①urllib3库实现爬取
lue_lue_lue_的博客
08-01 1709
3 静态网页爬取3.1 介绍静态网页爬虫的基本流程3.2 使用urllib3库实现爬取1.生成请求2.请求头处理3. Timeout设置4.请求重试设置5. 生成完整HTTP请求6.完整代码 3.1 介绍 静态网页 在网站设计中，纯粹HTML（标准通用标记语言下的一个应用）格式的网页通常被称为“静态网页”，静态网页是标准的HTML文件，它的文件扩展名是.htm、.html，可以包含文本、图像、声音、FLASH动画、客户端脚本和ActiveX控件及JAVA小程序等。 静态网页是网站建设的基础，早期的网站一
python爬虫 urllib模块发起post请求过程解析
09-18
这个过程对于理解和实践Python爬虫中的POST请求至关重要，也是爬虫开发中的一项基础技能。在实际应用中，可能需要处理更复杂的请求头、cookies等，但基本的POST请求步骤是相似的。希望这个例子能帮助你更好地理解...
带有headers的urllib库爬取
weixin_30919571的博客
03-10 220
#请求头 #1、引入模块 from urllib import request #2、操作 #(1)定义目标url base_url = "http://www.langlang2017.com/index.html" #请求头部---request headers headers = { "Accept":"text/html,app...
pyCharm 没有urllib包
0729Liang
04-14 1万+
其实不是没有，而是python3中自带了，不需要pip 或者importpyCharm 导入urllib为灰色；pyCharm import urllib为灰色；variable "__init__.py" Inferred type: __init__.pyUnused import statement less... (Ctrl+F1) This inspection detects name...
python3中urllib不能用的问题解决
old__tree的博客
04-09 8069
    很多初学者在学习python3的web开发时，避免不了要使用urllib这个强大的包，但肯定很多人都会出现这样的问题，导入urllib包后无法使用。如下图：       其实可以在F:\python36\Lib\urllib文件下发现urllib的__init__.py（初始化函数）是空的，所以当导入urllib时无法使用。只能导入urllib相应的模块。正确的用法应该是：    ...
python爬虫常见异常及处理方法
woyaojinqu的专栏
10-05 1万+
欢迎使用Markdown编辑器写博客在编写python爬虫时经常会遇到异常中断的情况，导致爬虫意外终止，一个理想的爬虫应该能够在遇到这些异常时继续运行。下面就谈谈这几种常见异常及其处理方法： 异常1：requests.exceptions.ProxyError 对于这个错误，stackoverflow给出的解释是 The ProxyError exception is not actual
Python爬虫之urllib库
12-22
  urllib库是Python内置的请求库，能够实现简单的页面爬取功能。值得注意的是，在Python2中，有urllib和urllib2两个库来实现请求的发送。但在Python3中，就只有urllib库了。由于现在普遍流行只用Python3了，所以...
Python爬虫 urllib2的使用方法详解
01-20
urllib2是Python2.x自带的模块(不需要下载，导入即可使用) urllib2官网文档：https://docs.python.org/2/library/urllib2.html urllib2源码 urllib2在python3.x中被改为urllib.request urlopen 我们先来段代码： ...
python爬虫之urllib3的使用示例
09-20
urllib3是一个广泛使用的Python HTTP客户端库，它不仅提供了许多urllib库没有的功能，同时也提供了一个非常实用的连接池机制，这些特性使得urllib3在Python爬虫和网络请求处理中非常受欢迎。 首先，urllib3支持线程...
python爬虫 urllib模块反爬虫机制UA详解
09-18
如何在Python爬虫中通过urllib模块伪造User-Agent来绕过反爬虫机制呢？首先，需要从浏览器中获取想要仿冒的浏览器的User-Agent字符串。这可以通过浏览器自带的开发者工具中的Network面板查看，或使用抓包工具如...
urllib获取响应后的六种基本处理和常见状态码
Watson_Ashin的博客
10-27 6772
import urllib.request url = 'http://www.baidu.com/' #我们先定制一个请求并得到相应response他是个HttpResponse类对象 response = urllib.request.urlopen(url) #该相应会有如下6中基本处理方式 # 1.直接将整个页面以二进制格式返回 print(response.read()) # 2....
如何解决urllib.request找不到问题
syh_486_007的专栏
02-11 1万+
python 3.x中urllib库和urilib2库合并成了urllib库， 其中urllib2.urlopen()变成了urllib.request.urlopen() urllib2.Request()变成了urllib.request.Request() 因此，python3.x得版本中可以使用urllib.request库； 但是在python2.7的库中，还是得使用urllib2.u
Python爬虫（三）——URLError和HTTPError异常处理
浅然的专栏
11-01 2万+
一、URLError造成原因 本地网络未连接 服务器不存在 连接不到特点的服务器 既然异常处理就会使用到try/except，下面简单介绍try/except捕获异常二、try/except异常捕获使用try/except来捕捉异常检测try语句块中的错误，从而让except语句捕获异常信息并且处理，当然如果不想在异常发生使结束程序，可以只用try来捕获三、简单的URLError比如下面是我在本机断
anaconda3发现urllib是空的
心有猛虎 细嗅蔷薇
07-22 1318
一开始的时候，会发现报错没有这个request   我们在import里面引用一下  
如何解决urllib request找不到问题
qq_43679873的博客
11-13 5711
如何解决urllib request找不到问题
在python3版本使用urllib做爬虫实例遇到的问题
maccoo的博客
05-13 348
本文主要实现一个简单的爬虫，目的是从一个百度贴吧页面下载图片。下载图片的步骤如下： 1、获取网页html文本内容； 2、分析html中图片的html标签特征，用正则解析出所有的图片url链接列表； 3、根据图片的url链接列表将图片下载到本地文件夹中。 #!/usr/bin/python # coding:utf-8 # 实现一个简单的爬虫，爬取百度贴吧图片 import urllib import re # 根据url获取网页html内容 def getHtmlContent(url):
关于python爬虫页面解码问题
c1412732094的博客
03-25 1136
简介 在写爬虫时候碰到了解码爬取到的页面问题，困惑了好久。记录在这里一下，以便以后自己再次碰到相同问题。 问题如下 本人使用python3爬取一本小说时，获取网页url后进行解析时，在采用decode(‘utf-8’)解码时出现了utf-8无法解码的问题，出现了如下提示： UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in pos...
python3安装urllib3库_PyCharm 无法导入第三方库 No module named urllib3-搜云库
weixin_39927848的博客
11-23 3427
Urllib3是一个功能强大,条理清晰,用于HTTP客户端的Python库。我们在Pycharm编辑器新建的项目中如果发现无法使用urllib3库时，可以做以下操作：错误提示如下：我们在pycharm项目的lib的site-packages里面也找不到这个urllib3文件。那么，我们继续操作：1、先确认urllib3是否已经在电脑上安装，如果没有安装则通过cmd命令里面的：pip install...
Python3网络爬虫(三)：urllib.error异常
热门推荐
Jack-Cui
03-02 5万+
运行平台：Windows Python版本：Python3.x IDE：Sublime text3 转载请注明作者和出处：http://blog.csdn.net/c406495762/article/details/59488464
Python爬虫入门：urllib库详解与使用
本文主要介绍了Python爬虫的基础知识，特别是如何使用内置库urllib进行HTTP请求。urllib库包括request、error、parse和robotparser四个模块，分别用于HTTP请求、异常处理、URL处理和robots.txt解析。文章着重讲解了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值