python爬虫 导出/乱码/中英文夹杂问题解决

已于 2022-03-04 02:12:02 修改
阅读量1.3k 收藏
点赞数 1
文章标签： python 爬虫 开发语言
于 2021-12-03 17:38:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44599707/article/details/121703171
版权

做作业爬数据，对一个网页进行了简单爬虫。各种bug频出，泪洒键盘，遂记之。

DataFrame输出文件

1、地址数据的逗号分隔符引发的问题
跑完代码，发现偶尔会出现一些不听话的，如图：
第三个对象出问题
首先，第三个对象的address、price、type数据均存在（说明抓取过程没有问题）
由于csv文件的默认分隔方式为逗号“，” ，第三个对象的地址存在多个逗号，被csv误认为要分隔开来
（但是为什么大部分对象不会出现这个问题呢？暂时无解）

遂放弃了csv格式，选择了导出为xlsx，结果就正常了：
输出为xlsx文件之后解决问题
2、乱码问题
由于爬的内容含有繁体字+英文，导出文件的时候写了如下代码：

df.to_excel(save_path + os.sep
最低0.47元/天 解锁文章
日渐秃顶
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
6、python解决导出excel等文件参数设置及中文乱码解决
UP Lee博客
11-28 5471
目录 1  解决中文乱码的问题  2  导出文本文件 3  导出excel，需要安装openpyxl包 1  解决中文乱码的问题   SData.to_csv('D:\\DATA\\pycase\\number2\\project\\SData.csv',              index=False,           encoding='utf_8_sig') 2  导出文...
python爬虫篇1——爬取中英文论文文献数据
qq_35595164的博客
12-19 9681
程序运行截图： mysql代码： CREATE TABLE `article` ( `id` int(11) NOT NULL, `article_time` varchar(50) DEFAULT NULL, `article_volume` varchar(20) DEFAULT NULL, `article_author` varchar(2000) DEFAULT...
Python：爬虫乱码
weixin_45068714的博客
10-14 2367
在所有的编解码方式中，ASCII码字符对应的二进制表示都是一样的。编、解码要相对应，才能不损失数据原本的意义，我们才不会误解数据；数据以编码方式1进行编码的到字节流，那么这段字节流必须以对应的解码方式1进行解码，才可以得到原始的数据；否则这段字节流可能会：1、解码成别的数据（按照解码方式2，这一段二进制位对应了别的字符）；2、解码失败（按照解码方式2，这一段二进制位可能不对应任何字符）。
Python 爬虫 中文乱码一文通
HRG520JN的博客
07-27 3896
还在找python中文乱码的解决方法？来跟我学习，一文直接PASS。
解决爬虫中文数据乱码问题
李昂的博客
02-11 1万+
常见的问题 在爬虫爬取数据过程中直接爬取数据中文字符出现乱码现象 经过查找资料发现，网页返回的字符集和爬取下来后转换编码不一致，这必然会引起来乱码，当源网页编码和抓取下来后程序直接使用处理编码一致时，则不会出现乱码，此时在进行统一的编码则可以完美的显示。 print(response.encoding) #查看网页返回的字符集类型 print(response.apparent_encoding) #自动判断字符集类型 常见的编码 最早的编码是iso8859-1和ascii编码类似，iso8859-
python pandas导出excel到本地的时候出现乱码
屯庆的博客
10-25 4631
直接加上编码 self.df = pandas.DataFrame(self.headers, index=[0]) self.df.to_excel(self.filename, index=False, encoding='utf-8')
python3 下载PDF文件 出现乱码
qq_40828339的博客
09-22 835
最近在使用python3的requests库下载PDF文件时出现了一个小问题： 我需要下载的其中一个PDF文件的url为https://www.aclweb.org/anthology/A00-2017 使用requests库下载的关键代码为： file_name = url.split('/')[-1] u = requests.get(url) ...
用python将爬取内容写入csv文件中用excel打开后的乱码问题
weixin_44015396的博客
12-02 4327
在平时的数据采集中我们经常会将一些数据存入csv文件，但是有时候用excel打开csv文件会发现乱码。 可能有的人会问为什么不直接将数据写去excel中，而是先写入csv然后又用excel打开，不嫌麻烦嘛？这就是因为python写入csv文件比写入excel文件极其的方便和简单。 就比如在追加写入的时候，如果我们使用excel就会比较麻烦，会用到xlutils这个库 from xlutils.c...
python爬虫中通用的两种乱码解决方式（自用）
ZhanShenvsDiHuang的博客
07-14 2467
python爬虫乱码问题
【爬虫】Python Selenium爬取TEDTalks
YYIverson的博客
04-22 1357
1、爬虫相关： TED-Talks的视频（www.ted.com/talks） 云集了曾踏上过TED讲坛、举世闻名的思想家、艺术家和科技专家。在TED.com网站上，我们可以免费下载这些视频。视频包含了可以互动的英文讲稿以及多达80多个语种的字幕。 这次的爬取场景是将某个演讲视频下英语和匈牙利语的字幕稿给抽取出来并一一对应后写入文件，并利用Selenium随机点击下一个视频，不断执行上述操作。 英...
requests爬取中文网页时中文字符变英文的解决方法
wuqili_1025的博客
03-25 4213
在使用python requests库爬取网页时，源代码中的中文字符在爬取下来后变成了英文字符例如：import requests r = requests.get('http://apps.webofknowledge.com', headers = {'User-Agent': 'Mozilla/5.0'})print(r.text[:1000])结果为：'<!DOCTYPE html&...
Python抓取含中文网页乱码解决
qq_45086757的博客
01-06 961
该网站是一个诗词名句网站，网页打开之后是既含中文也含英文，但是爬取结果只能显示英文，中文会出现乱码。 网页本身 爬取结果乱码 修正后 代码 import requests from bs4 import BeautifulSoup # 对首页页面进行抓取 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome
python中尝试df.to_excel的时候'utf8' codec can't decode byte 0xb8 in position 0: invalid start byte
lht_okk的博客
12-10 5450
一开始我是将网页中的unicode转为utf-8后再用中文utf-8去掉中文，之后就报错了 代码大概就是这么写 Text = soup.select('.job_bt')[0].text.replace('\n','').encode('utf-8').lstrip('职位描述：') 先encode('utf-8')  转编码为utf-8   这么做的原因是我后面要去掉里面的字符 “”职
爬虫爬取的csv文件在excel中出现乱码问题的解决方法
吃醋蘸饺子叭
11-14 1879
3、选择UTF-8的格式，分割符号选择：逗号。1、新建一个空的表格，数据->自文本。4、点击完成、导入数据。
python Excel 乱码 解决方案 编码 xlwings测试
m0_62073075的博客
06-15 1884
今天用xlwings向Excel中添加数据，打开Excel发现中文是乱码，经过测试找到原因，是本py文件调用了另一个自制的py模块（编码头文件是utf-8）中的数据，调用过来生成str字符串，编码是utf-8，而utf-8的字符串写入到Excel就会乱码。（记录在此，方便以后查看，也希望能为用python的新手们提供参考）......
解决乱码问题，爬虫获取的多个CSV文件批量合并成一个xls或xlsx文件
Aspirin008的博客
04-28 3666
在本文的介绍中，合并CSV文件有两种方法，一种是在cmd中输入copy *.CSV all.csv语句合并，但是这种方法容易在各个CSV文件编码不同等情况下导致生成的EXCEL文件全是乱码，所以有了作者要介绍的第二种方法，综合利用EXCEL软件和PyCharm(Python)进行合并。
爬虫中文乱码繁体字乱码问题解决
weixin_30478923的博客
05-31 1706
工作需要爬取淘宝对应的卖家账户，为了简单就直接用正则匹配所需掌柜名称。 ps:项目较老，用的python2.7 遇到三个问题: 1.中文乱码，开始直接就 Response.encoding = 'utf-8'，结果中文都是乱码。查资料可以用Response.apparent_encoding 看出返回网页的编码格式 GB2312 2.繁体字乱码 简单中文没问题，但是繁体字又是乱码，而且...
将网页表格（爬去数据转为excel）
王斯的博客
10-01 2865
将网页表格（爬去数据转为excel） 我们在日常生活中，可能都需要将爬去的数据，保存到本地，或者将文本txt文件，复制粘贴到excel中，会出现 通过Python的xlwt模块来实现 import requests import re import xlwt # 获取数据 url = 'http://lib.stat.cmu.edu/datasets/veteran' #　数据网址链接 res = requests.get(url) # print(res.text) # print(type(res.
python中——requests爬虫【中文乱码】的3种解决方法
热门推荐
LHJCSDNYL的博客
07-24 1万+
python中requests爬虫【中文乱码】问题，是最常遇到的问题，对于初学者来说，是很困恼的。本文将详细说明，python中使用requests库编写爬虫程序时，出现【中文乱码】的原因，及常见3种解决办法。
python爬虫logging中文乱码
最新发布
12-21
在Python爬虫中，如果在日志文件中使用中文字符，可能会导致终端展示乱码的问题。这是因为终端默认使用的字符编码与日志文件中的字符编码不一致所致。 解决这个问题的方法是，在使用logging模块时，将日志文件的编码设置为与终端一致的编码。可以通过以下步骤实现： 1. 在代码中导入logging模块，并创建一个logger对象。 2. 创建一个FileHandler对象，用于将日志写入文件。 3. 设置FileHandler对象的编码为与终端一致的编码。 4. 将FileHandler对象添加到logger对象中。 5. 使用logger对象记录日志。 下面是一个示例代码，演示了如何解决Python爬虫logging中文乱码的问题： ```python import logging # 创建logger对象 logger = logging.getLogger('my_logger') logger.setLevel(logging.DEBUG) # 创建FileHandler对象，并设置编码为UTF-8 file_handler = logging.FileHandler('log.txt', encoding='utf-8') # 将FileHandler对象添加到logger对象中 logger.addHandler(file_handler) # 使用logger对象记录日志 logger.debug('这是一条中文日志') ``` 通过以上代码，日志文件中的中文字符将以UTF-8编码保存，终端展示时就不会出现乱码了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值