爬取数据后,保存数据编码错误

爬取时没问题,保存时有问题。
源码如下:

import csv
list = ['房源名称','房源类型','房价信息','评价数量']
with open('./Data/test.csv','a+',newline='') as csvfile:
    w = csv.writer(csvfile)
    w.writerow(list)
    #写入多行
    w.writerows(rooms_message)

报错信息:

UnicodeEncodeError:'gbk' codec can't encode character '\u2022' in position 19: illegal multibyte sequence

修改方法:
将rooms_message中的每一个字符串都使用

.encode("gbk", 'ignore').decode("gbk", "ignore")

原因:
python3中字符串编码方式:

  1. str字符串:使用Unicode编码;
  2. bytes字符串:使用将Unicode转化成的某种类型的编码,如UTF-8、GBK;
  3. encode的作用是将Unicode编码转换成其他编码的字符串(python3中的字符串默认编码时str,也就是Unicode);
  4. 而decode的作用是将其他编码的字符串转换成Unicode编码。

因为不管html编码是啥格式,只要你爬下来后,python3已经默认它是Unicode。
所以先使用encode(“gbk”, ‘ignore’)将Unicode的编码转换“gbk”格式编码,而且忽略不能转换的字符(我觉的这是一个解码过程);
但你如果就这样保存数据,数据是一堆\xa0\xce\xa8…,根本不知道啥玩意儿;于是再用decode(“gbk”, “ignore”)编码一次,同样忽略不能编码的字符。(这是一个编码过程)

注意:

被encode的字符串不能在encode(被解过一次码的字符串不能在解码)
被decode的字符串不能在decode(被编过一次码的字符串不能在编码)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值