上传csv文件为gbk格式，而爬虫中打开的文件为utf-8格式的解决方案

最新推荐文章于 2024-04-12 15:47:42 发布

huianT

最新推荐文章于 2024-04-12 15:47:42 发布

阅读量568

点赞数 2

分类专栏：网络爬虫 csv文件 python

本文链接：https://blog.csdn.net/weixin_43671478/article/details/89186398

版权

网络爬虫同时被 3 个专栏收录

8 篇文章 0 订阅

订阅专栏

python

5 篇文章 0 订阅

订阅专栏

csv文件

2 篇文章 0 订阅

订阅专栏

需要用到unicodecsv模块，而不是使用csv模块，同时这种方法是将爬去下来的数据转为unicode码写入文件，在转为gbk码，这就存在unicode中有一些不可见字符，转换的时候python3是报错的，将encoding='gbk'改成encoding='gb18030'就可以了。

import unicodecsv as ucsv
import time
now_day = time.strftime('%Y-%m-%d', time.localtime())
data = [['行一列1','行一列2'],['行二列1','行二列2']]
with open('pachong_{}_.csv'.format(now_day), 'ab') as f:
    write = ucsv.writer(f, encoding='gb18030',)
    write.writerows(data)