python 爬虫爬取内容时, \xa0 、\u00A0,\u0020, \u3000 的含义与处理方法

"本文介绍了在Python爬虫中遇到的HTML转义字符xa0(不间断空格)和u3000(全角空格)的含义及其处理方法。这两种空格在文本处理中可能会引起问题,需要通过replace()函数替换为空字符串。同时,文章还区分了不同类型的空格:不间断空格u00A0主要用于防止单词换行,全角空格u3000常见于中文文本中。处理这些特殊空格可以确保数据的准确性和一致性。"
摘要由CSDN通过智能技术生成

python 爬虫爬取内容时, \xa0 、 \u3000 的含义与处理方法

HTML转义字符&npsp;表示non-breaking space,unicode编码为u'\xa0',超出gbk编码范围?

如何处理:.extract_first().replace(u'\xa0', u' ').strip().encode('utf-8','replace') --->针对列表使用

\xa0 是不间断空白符  
str.replace(u’\xa0’, u’ ‘)

\u3000 是全角的空白符
str.replace(u’\u3000’,u’ ‘)

title.strip(‘\r\n’).replace(u’\u3000’, u’ ‘).replace(u’\xa0’, u’ ‘)
content.strip(“”).strip(‘\r\n’).replace(u’\u3000’, u’ ‘).replace(u’\xa0’, u’ ‘)

补充:三种空格unicode(\u00A0,\u0020,\u3000)表示的区别

1.不间断空格\u00A0,主要用在office中,让一个单词在结尾处不会换行显示,快捷键ctrl+shift+space ;
2.半角空格(英文符号)\u0020,代码中常用的;
3.全角空格(中文符号)\u3000,中文文章中使用;

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

itLaity

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>