windows环境：Python 处理爬取网页的unicodeEncodeError(BeautifulSoup)

最新推荐文章于 2021-03-10 21:33:52 发布
最新推荐文章于 2021-03-10 21:33:52 发布
阅读量695 收藏
点赞数
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RogeDL/article/details/52563664
版权

Windows 环境下，使用Python库BeautifulSoup抓取网页（BeautifulSoup不是默认安装的库，需要使用pip install 进行安装），分析到的网页出现 unicodeencodeerror.

经分析，原始是windows的默认编码是GBK（可以在windows命令行下，用chcp查询活动代码页，对应的数字是936，对应的默认编码是GBK），在用print打印BeautifulSoup抓

取的网页时，部分Unicode字符无法识别，出现unicodeencodeerror，解决的方法如下：

geth1text=geth1text.encode('GB18030')

RogeDL
关注
专栏目录
python的【爬虫】：使用urllib爬取wiki文章，使用beautifulSoup解析html
mmc2015的专栏
03-18 7987
之所以写这个，是因为搜不到关于wiki爬取方面的教程。 先学习： 正则表达式，http://python.jobbole.com/81346/ BeautifulSoup（html文档解析器），http://python.jobbole.com/81349/ 爬取糗事百科实例，http://python.jobbole.com/81351/ 现
python爬取大众点评数据_python爬虫实例详细介绍之爬取大众点评的数据
weixin_39785858的博客
11-20 2088
python 爬虫实例详细介绍之爬取大众点评的数据一．Python作为一种语法简洁、面向对象的解释性语言，其便捷性、容易上手性受到众多程序员的青睐，基于python的包也越来越多，使得python能够帮助我们实现越来越多的功能。本文主要介绍如何利用python进行网站数据的抓取工作。我看到过利用c++和Java进行爬虫的代码，c++的代码很复杂，而且可读性、可理解性较低，不易上手，一般是那些高手用...
Python爬取知乎发现页UnicodeEncodeError
SkYe's Blog
06-19 228
问题描述 在爬取知乎发现页时，使用requests获取HTML文本，使用XPath筛选信息，用列表存储有效信息。使用write()新建txt文件，用于存储信息。 在向txt文件写入信息的过程中，出现错误：UnicodeEncodeError: 'gbk' codec can't encode character '\uff65'.... 错误代码再现 html = '' data_list = [...
python爬虫中文网页cmd打印出错问题解决
derek881122的博客
08-17 165
问题描述 用python写爬虫，很多时候我们会先在cmd下先进行尝试。 运行爬虫之后，肯定的，我们想看看爬取的结果。 于是，我们print... 运气好的话，一切顺利。但这样的次数不多，更多地，我们会遇到这样的错误： UnicodeEncodeError: 'gbk' codec can't encode character 好吧，回去检查网页的编码格式：gb2312 代码中也添加了：r...
Python3 UnicodeEncodeError 问题解决
yu599207582的专栏
02-24 5321
用python3时，直接print('中文')出现下面的错误：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 对于上述问题，试了很多网上流传的各种版本解决方案，如: import sys reload(sys) sys.setdefaul
Python3+BeautifulSoup报错UnicodeEncodeError: 'charmap' codec can't encode characters in position
皓月星空
09-18 9654
开发环境： Eclipse 4.6.3 Python 3.6.2 BeautifulSoup 4.6.0 Requests 2.18.4 content = requests.get(url).content soup=BeautifulSoup(content,'html.parser')执行时替换了很多url都出现以下错误信息，只是position的值不一样 Unicode
利用python爬取知乎评论_一个简单的python爬虫,爬取知乎
weixin_39830020的博客
12-13 1770
一个简单的python爬虫,爬取知乎主要实现 爬取一个收藏夹 里 所有问题答案下的 图片文字信息暂未收录，可自行实现，比图片更简单具体代码里有详细注释，请自行阅读项目源码：1 # -*- coding:utf-8 -*-23 from spider import spiderhtml4 from multiprocessing import pool5 import sys,urllib,http...
利用python中的selenium和BeautifulSoup库爬取米游社最新文章的标题
weixin_46238789的博客
03-10 1408
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、爬取过程中出现的问题二、提取解析并导入csv中三、全部代码展示四、利用https://wordart.com/网站绘制词云 前言 通过Python爬取米游社最新文章的标题并保存到csv文件中，然后利用其它网站制作成词云。 ps：我是工管的，Python是我业余学的，所以代码写的比较丑陋请见谅… 一、爬取过程中出现的问题 因为米游社文章的刷新是通过鼠标下滑的方式实现的，因为没有爬取过类似的页面，所以查询相关资料后发现sel
python爬取酷狗音乐top500_爬取酷狗音乐Top500
weixin_39914938的博客
12-17 937
开发环境：windows环境+python3+requests库(请求)+BeautifulSoup库(解析)目标:爬取酷狗音乐Top500并保存到txt中整个案例源代码：#导入程序需要的库，requests库用于请求获取网页，BeautifulSoup库用于解析网页数据，time库、random库用于随机延时import requestsfrom bs4 import BeautifulSoup...
Beautiful Soup（五）--其他相关
烟波的程序世界
03-18 2167
[Top]Beautiful Soup（五）--其他相关
如何解决Python中的UnicodeEncodeError编码错误问题
綦枫Maple的博客
01-15 1万+
前言：我们在初步写python程序时，常常出现编码格式错误的问题，这是由于不同格式的编码方式对相同信息的转化结果不同，当我们使用了不合适的编码方式后，便无法返回正确的结果。博主在使用Pycharm时也遇到了类似的问题，安装好软件打开写好的python程序，提示如下： UnicodeEncodeError: 'ascii' codec can't encode characters in posi
Win7 64位安装BeautifulSoup
HW140701的博客
07-25 1917
BeautifulSoup库不是标准的Python库，因此需要单独安装。下面介绍下BeautifulSoup的安装方法，BeautifulSoup的安装包自行去官网下载。 Linux的系统的基本安装方法是： sudo apt-get install python-bs4 Mac系统： 首先用sudo easy_install pip 安装Python的包管理器pip,...
Python爬虫：BeautifulSoup的find()和findAll()
热门推荐
HW140701的博客
02-14 2万+
BeautifulSoup的find()和findAll()这两个函数在某些方面十分的相似，我们可以使用它们过滤HTML页面，并查找需要的标签组和单个的标签。 这两个函数非常的相似： findAll(tag,attributes,recursive,text,limit,keywords) find(tag,attributes,recursive,text,keyw...
python爬取网页UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in posi
younger_to_older的博客
08-07 764
（1）爬取网页代码格式问题 def get_html(url): try: response = requests.get(url) if response.status_code == 200: return response.text ...... return get_html(url) ...
爬取网页异常UnicodeEncodeError: ‘gbk‘ codec can‘t encode
被一个OIER遗弃的一堆烂代码
07-17 379
在Python中将网址写入文件的时候， 会碰到：UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position 0这个问题。 其实就是在windows中，新建的文本文件的默认编码是gbk. 如此,我们可以在程序中提前指定编码就可以了. 而utf-8通用,就选它了 ……. f = open(‘a.txt’, ‘w’,encoding=’utf-8’) ...
爬虫系列13.BeautifulSoup 输出
runnoob_1115的博客
11-13 518
格式化输出 prettify()方法,将文档树格式化以后以Unicode码输出，每个标签都独占一行 BeautifulSoup 对象和它的tag节点都可以调用 prettify() 方法压缩输出 如果只想得到结果字符串,不重视格式,那么可以对一个 BeautifulSoup 对象或 Tag 对象使用Python的 unicode() 或 str() 方法 str() 方法返回UTF-8编码的字符串,
UnicodeEncodeError:的解决方法
flyingfox8836的博客
07-23 1932
今天在学习《集体智慧编程》这本书中第四章的搜索与排名时，自己动手尝试将书中Python2编写的实例程序改写成Python3的版本，编写好第一个爬虫程序，代码如下： #从一个小网页开始进行广度优先搜索，直至某一给定深度 #期间为网页建立索引 def crawl(self,pages,depth=2): print('searching %s'% pages)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值