Python3.6中对爬取网页中的"/XBB"的处理

最新推荐文章于 2023-07-04 10:24:24 发布
最新推荐文章于 2023-07-04 10:24:24 发布
阅读量910 收藏
点赞数
分类专栏： 网络爬虫 文章标签： 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013550998/article/details/81149580
版权

在爬取百度首页时报错：

UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xbb’ in position 28613: illegal multibyte sequence
这里写图片描述
虽然不影响爬取的内容，但是很好奇地查了一下，是字符编码BOM的锅。BOM（Byte Order Mark），字节顺序标记，出现在文本文件头部，Unicode编码标准中用于标识文件是采用哪种格式的编码。

字符编码

1.1. ASCII

ASCII(American Standard Code for Information Interchange)，是一种单字节的编码。计算机世界里一开始只有英文，而单字节可以表示256个不同的字符，可以表示所有的英文字符和许多的控制符号。不过ASCII只用到了其中的一半（\x80以下），这也是MBCS得以实现的基础。

1.2. MBCS

然而计算机世界里很快就有了其他语言，单字节的ASCII已无法满足需求。后来每个语言就制定了一套自己的编码，由于单字节能表示的字符太少，而且同时也需要与ASCII编码保

最低0.47元/天 解锁文章
奔跑的怪兽
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java避免UTF-8的csv文件打开中文出现乱码的方法
08-25
然而，在Java中读取和写入csv文件时，中文字符如果不正确地处理，可能会出现乱码的情况。下面我们将详细介绍Java避免UTF-8的csv文件打开中文出现乱码的方法。 首先，需要了解UTF-8和UTF-16LE这两种编码格式。UTF-8...
PHP读取文件,解决中文乱码UTF-8的方法分析
10-15
在PHP编程中，读取包含中文字符的文件时，可能会遇到中文乱码的问题。这个问题通常是由于文件的编码格式与PHP程序处理编码的方式不匹配...在实际开发中，理解并掌握这些技巧对于处理多语言环境下的文件操作至关重要。
Python知识——x、b模式、文件指针移动
xiaotangyu7dong的博客
06-09 538
x模式（了解） 只写模式「不可读；不存在就创建、存在就报错」 with open(r'D:\x模式',mode='xt',encoding='utf-8') as f: f.write('哈哈哈哈哈') 文件不存在时： 文件存在时： Traceback (most recent call last): File "d:\python\study_6_9.py", line 29, in <module> with open(r'D:\x模式.txt',mode='xt'
Python爬虫初学：报错1：UnicodeEncodeError: 'gbk' codec can't encode character '\xbb'……
typefree的博客
02-23 639
大家好，我是庞老板咩，一名浙江大学动力工程20级推免生，最近开始自学Python。这是我的第一篇博客，很高兴可以在CSDN这个平台和大家分享交流^ ^ 首先，这是一段我初学爬虫时的代码： import urllib.request def load_baidu(): url = "http://www.baidu.com" request = urllib.request.Re...
UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 1: illegal multibyte seque
weixin_41792971的博客
02-24 1514
最近学习到selenium的时候想用驱动模拟浏览器获取信息的时候遇到了一个问题。 UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xbb’ in position 0: illegal multibyte seque 问题的编码 print(browser.current_url) print(browser.get_coo...
解决Python的SyntaxError: Non-UTF-8 code starting with ‘\xbb‘问题
最新发布
yiyantangad的博客
07-04 3205
这个错误是由于Python解释器无法处理包含非UTF-8编码的字符的文件，而且在文件中未声明编码方式引起的。根据错误提示，可以在链接。在程序中，line 8为含有中文的注释，编译后出现了。上阅读有关Python中编码声明的详细信息。的报错，具体如下图。
解决pycharm/python3中UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xbb‘ in position 8530: 问题
wybtpt的博客
09-22 361
pycharm中UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' 问题解决
4×4矩阵键盘在单片机中的应用(Proteus).pdf
11-12
在Proteus软件中，可以通过虚拟硬件环境对这类程序进行仿真，观察实际运行效果，为实际硬件开发提供便利。 总结，4×4矩阵键盘在单片机中的应用涉及键盘原理、编码、软件编程以及硬件仿真等多个方面，是学习单片机...
puny:纯Python IndieWeb CMS
05-17
Puny：Pure-Python IndieWeb CMS Puny是一个基于的项目，用于为构建网站。 Puny工具：使用内容验证。 要使用Puny，您需要一个服务器。 是一个不错的选择！ Puny目前正在进行中，主要是为了帮助我更好地了解Micropub...
解决android读取中文乱码 自动判断文档类型并转码
06-20
在上面的代码中，我们首先使用 FileInputStream 和 BufferedInputStream 来读取文件，并将文件的前三个字节读取到 byte 数组中。然后，我们可以通过判断这三个字节的值来确定文件的编码格式。 如果前三个字节的值...
python 读一个utf8编码的文本文件，为啥有\xef\xbb\xbf文件头呢?怎么处理呀
wjzqh的博客
02-01 5971
EF BB BF是被称为 Byte order mark (BOM)的文件标记，用来指出这个文件是UTF-8编码。 处理方式见 Reading Unicode file data with BOM chars in Python 的第一个回答。
Python问题解决7：爬虫报错SyntaxError: Non-UTF-8 code starting with ‘\xbb‘ in file
简时刻的博客
06-13 3873
问题描述 使用python爬虫时，报错：SyntaxError: Non-UTF-8 code starting with '\xbb' in file F:/Python/Python实际应用/python 爬虫/正则表达式/6. 中国证券报财经数据挖掘.py on line 8, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details #coding=gbk ...
Python解决unicode编码 \xe7\xbb\x87转化为中文
热门推荐
u011588619的博客
12-01 6万+
 记录下学习过程中遇到的问题：将中文关键字提取后存入csv文件中，结果出现了如下结果： \xe7\xbb\x87\xe7\x89\xa9 \xe7\xbb\x93\xe5\x90\x88\xe9\x83\xa8 \xe7\xbb\x93\xe6\x9e\x84 \xe5\x86\x85\xe7\xae\xa1 \xe5     \x88\x86\xe9\x9a\x94 \xe8\x86\xa8\...
解决SyntaxError: Non-UTF-8 code starting with '\xbb'问题
欢迎来到关关雎鸠儿的博客
07-28 1万+
程序输入中文注释时，出现此类问题 SyntaxError: Non-UTF-8 code starting with '\xbb' in file F:/code/python/mypro01/myexceptiontest01.py on line 1, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for ...
关于\xEF\xBB\xBF的介绍
Linux痞子
07-04 1万+
UTF-8编码中BOM的检测与删除 所谓BOM，全称是Byte Order Mark，它是一个Unicode字符，通常出现在文本的开头，用来标识字节序（Big/Little Endian），除此以外还可以标识编码（UTF-8/16/32），如果出现在文本中间，则解释为zero width no-break space。 注：Unicode相关知识的详细介绍请参考UTF-8, UTF-16, UT
"\xA1\xbb" 转义字符
chuanyituoku的专栏
10-30 3541
2. 八进制转义字符 它是由反斜杠'\'和随后的1～3个八进制数字构成的字符序列。例如，'\60'、'\101'、'\141'分别表示字符'0'、'A'和'a'。因为字符'0'、'A'和'a'的ASCII码的八进制值分别为60、101和141。 字符集中的所有字符都可以用八进制转义字符表示。 如果你愿意，可以在八进制数字前面加上一个0来表示八进制转义字符。? 3. 十六进制转义字符? 它
python3去除UTF-8的BOM前缀（\xef\xbb\xbf）
学海无涯
12-03 5796
做实验的时候，出现了莫名其妙的错误，打印出来一看，同样的字符，判断的却不想等，因为二者的编码不同，通过查资料，发现是bom编码的问题，即前面多了\xef\xbb\xbf 网上相关的方法很多，另存为无bom格式的，是最直接了当的方法 但是，我另存了之后，也还是出错，貌似没效果 于是，还是决定从代码中qu去除掉\xef\xbb\xbf 网上的方法很多，大多数是针对zhen整个文件的头部有\xe...
‘gbk‘ codec can‘t encode character ‘\xbb‘ in position xxx: illegal multibyte sequence
CrazyEdamame的博客
03-25 743
爬到的text数据，有\xbb、\xa9的print无法打印的字符。 response=requests.get(url) content=response.text print(content) 报：‘gbk’ codec can’t encode character ‘\xbb’ in position xxx: illegal multibyte sequence 简单粗暴：print（content.replace（’\xbb’,’’）） ...
统计字符串中各个出现的次数 python
04-11
使用Python的统计字符次数的方法是通过遍历字符串中的每一个字符，并且使用字典来统计每个字符出现的次数。具体代码可以参考下面的示例： ``` str = b'\xe7\xbb\x9f\xe8\xae\xa1\xe5\xad\x97\xe7\xac\xa6\xe4\xb8\...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值