Python异常UnicodeEncodeError 'gbk' codec can't encode character '\xa0'

问题描述

在写爬虫爬取网页信息时,发生了以下错误:

UnicodeEncodeError: 'gbk' codec can't encode character '\xa0'

意思大致是Unicode编码错误,gbk编解码器不能编码\xa0字符。

爬虫程序爬取的是课程信息,包含中文。使用requests库访问网页,使用BeautifulSoup库解析网页,用get_text()方法获取标签内的文本信息。

python版本为3.5,在cmd控制台中运行python脚本。

代码大致如下:

import requests
from bs4 import BeautifulSoup

r = requests.get(url,cookies=cookies,headers=headers)
soup = BeautifulSoup(r.text,"lxml")
lesson_data_list = soup.find_all(id="xjs_table")[0].find_all("tr")[1:]
for lesson_data in lesson_data_list:
    td = lesson_data.find_all("td")
    name = td[0].get_text()
    credit = td[1].get_text()
    teacher = td[2].get_text()
    time = td[5].get_text()
    total = td[11].get_text()
    print(name,credit,teacher,time,total)

本问题与Python异常UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\ufffd’类似。

错误原因

当我们获取这个网页的源代码的时候,是将这个网页用utf-8的解码方式将其转换成对应的Unicode字符,当我们使用print()函数将其打印到Windows系统的DOS窗口上的时候(DOS窗口的编码方式是GBK),自动将Unicode字符通过GBK编码转换为GBK编码方式的str

整个过程是: [用python爬取] UTF-8(str) -> [缓存中存放] Unicode(byte) -> [DOS中显示] GBK(str)

对比原网页,发现报错的位置原本要输出的文本为空,也就是目标标签内的值为 

网页源代码中的 utf-8 编码是:\xc2 \xa0,转换为Unicode字符为:\xa0,当显示到DOS窗口上的时候,转换为GBK编码的字符串,但是\xa0这个Unicode字符没有对应的 GBK 编码的字符串,所以出现错误。
这里写图片描述
来自:Code Table

解决办法

用空格 来替换 \xa0 ):

方法1:在网页源码上替换&nbsp

在解析之前对r.text中的网页源码的&nbsp进行替换

import requests
from bs4 import BeautifulSoup

r = requests.get(url,cookies=cookies,headers=headers)
#用空格 来替换 
soup = BeautifulSoup(r.text.replace(' ', ' '),"lxml")

方法2:在解析为Unicode之后替代\xa0

get_text()解析之后对u'\xa0'进行替换

import requests
from bs4 import BeautifulSoup

r = requests.get(url,cookies=cookies,headers=headers)
soup = BeautifulSoup(r.text,"lxml")
lesson_data_list = soup.find_all(id="xjs_table")[0].find_all("tr")[1:]
for lesson_data in lesson_data_list:
    td = lesson_data.find_all("td")
    name = td[0].get_text().replace(u'\xa0', u' ')
    credit = td[1].get_text().replace(u'\xa0', u' ')
    teacher = td[2].get_text().replace(u'\xa0', u' ')
    time = td[5].get_text().replace(u'\xa0', u' ')
    total = td[11].get_text().replace(u'\xa0', u' ')
    print(name,credit,teacher,time,total)

参考链接

Python3 解决编码问题: `UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’

Python: Removing \xa0 from string?

a0的Code Table

  • 11
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
引用\[1\]、\[2\]和\[3\]提供了关于UnicodeEncodeError报错的解决方法。这个错误通常是由于编码问题引起的,即在使用gbk编码时,遇到了无法编码的字符。解决这个问题的方法是将文件编码改为UTF-8。这可以通过在PyCharm中修改文件编码来实现。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [已解决UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘ŗ‘ in position 1: illegal ...](https://blog.csdn.net/yuan2019035055/article/details/126582320)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xa0‘ in position 21: illegal multibyte...](https://blog.csdn.net/qq_59544594/article/details/127222466)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [解决python中的UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\u26ab‘问题](https://blog.csdn.net/m0_56636447/article/details/127637293)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值