【Python】使用pandas读取以特殊字符作为分隔符的文本数据

最新推荐文章于 2023-04-06 22:58:21 发布
最新推荐文章于 2023-04-06 22:58:21 发布
阅读量4.7k 收藏 4
点赞数
分类专栏： python个人经验分享 文章标签： python 大数据 mysql csv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44941638/article/details/108871082
版权
本文介绍如何使用pandas处理以特殊字符‘$$’为分隔符的文本数据。当直接使用read_csv或read_table时，可能会得到错误的结果。解决方法是设置正确的分隔符和处理混合类型的数据警告。
摘要由CSDN通过智能技术生成

【Python】使用pandas读取以特殊字符作为分隔符的文本数据

金融民工在日常工作中遇到的小问题，分享一下～（大佬请绕道）

import pandas as pd

df = pd.read_table(file_path, sep='$$', engine='python', header=0)

问题描述：

  1. 直接用read_csv或read_table读取分隔符为"$$"的文本型数据集时，pandas可能会生成一列为超长字符串（未通过指定的分隔符将一行数据分拆），另一列为"unnamed: 1
最低0.47元/天 解锁文章
AGCorbusier
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python pandas 读取文件——读取具有明显分隔符的数据
在到处之间找我
12-17 3万+
首先我们来列举一下 pandas 处理文件的函数1： pd.read_csv(filepath)：从 CSV 文件导入数据 pd.read_table(filepath)：从限定分隔符的文本文件导入数据 pd.read_excel(filepath)：从 Excel 文件导入数据 pd.read_sql(query, connection_object)：从 SQL 表 / 库导入数据 pd.r...
使用numpy和pandas读取含有中文及字母的csv文件
下大禹了的博客
01-19 2290
正常读取会报格式错误 p = r'hw1_data/train.csv' f = np.loadtxt(p, dtype=str, delimiter=',') print(f) numpy读取csv文件时，dtype默认为float，有字母时，需要改为str，但是当文件中有中文时，依然报错：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa4 in position 0: invalid start byte。 改变编码格式： f = np.l
使用 Pandas 读取多个分隔方式的文件
qq_25368751的博客
04-06 1240
表示分隔符可以是逗号或者 tab。engine 参数指定了解析器的引擎，这里我们选择了 Python 自带的解析器。最后，header=0 参数告诉 Pandas 使用第一行作为列名。如果您的文本文件的第一行数据是使用逗号分隔的，而其余行是使用 tab 分隔的，您需要在 Pandas 中使用 read_csv 函数，并使用正则表达式指定多个分隔符。这里的 sep 参数使用了正则表达式。
Python数据处理工具——Pandas
君莫笑的博客
05-05 5840
一、序列与数据框的构造 Pandas模块的核心操作对象就是序列（Series）和数据框（DataFrame）。 1、构造序列 使用如下方式实现： 通过同质的列表或元组构建。 通过字典构建。 通过Numpy中的一维数组构建。 import pandas as pd import numpy as np data1=pd.Series([2.8,3.01,8.99,8.59,5.18]) data2=pd.Series({'北京':2.8,'上海':3.01,'广东':8.99.
Python——提取符号、表格拆分数据(指定分隔符、分列）
小平凡的记录的博客
10-15 3101
python提取符号、表格拆分数据(指定分隔符、分列）
python处理两种分隔符的数据集方法
09-19
在Python中，处理包含多种分隔符的数据集是一项常见的任务，特别是在数据分析和机器学习领域。在给定的场景中，数据集的结构是这样的：前9列由不定长度的空格分隔，而第9列和第10列之间则使用制表符（\t）进行分隔。...
pandas读取csv文件,分隔符参数sep的实例
12-25
该读文件方式，默认是以逗号“，”作为分割符，若是以其它分隔符，比如制表符“/t”，则需要显示的指定分隔符。如下 pd_read_csv(filename,'/t') 但如果遇见某个字段包含了”/t”的字符，比如网址“www.xxx.xx/t…...
python Pandas 读取txt表格的实例
09-20
4. `delim_whitespace=True`: 指定数据是以空格分隔的，这样Pandas会自动识别并使用空格作为列分隔符。 5. `index_col=0`: 设置第一列（索引为0）作为DataFrame的索引。这意味着这一列的值将作为行的唯一标识。 ...
Python基于pandas爬取网页表格数据
12-17
在Python的编程环境中，pandas库是一个非常强大的数据分析工具，同时也提供了一种便捷的方式来爬取网页中的表格数据。本文将详细介绍如何使用pandas的`read_html`函数来抓取网页表格，以及一些相关的参数和使用技巧...
pandas读取字典（dict）数据
data+scenario+science+insight
06-23 1万+
pandas读取字典（dict）数据 pandas.DataFrame.from_dict #默认orient ='columns' # 默认orient ='columns' data = {'col_1': [3, 2, 1, 0], 'col_2': ['a', 'b', 'c', 'd']} pd.DataFrame.from_dict(data) #设置orient = index data = {'row_1': [3, 2, 1, 0], 'row_2': ...
pandas读取文件时有多个不同的分隔符
yygr的博客
03-08 662
如果有多个空格的话使用。分隔不同字符通过加上。
pandas把行/列内容以符号分隔连成字符串
zjmy的博客
03-18 2264
将一列或者一行的内容提取出来变成以特定符号分隔的字符串 genename = ','.join(match_row.iloc[:,3].values) genename = '|'.join(df_geneName[0].values)
pandas中分隔符由多个字符组成
ljp1919的专栏
09-25 2193
背景 在使用pandas过程由于文本中存在形如, 、| 等常规字符，所以需要自定义分隔符，特别是自定义由多个字符组成的分隔符。那么此时在使用 pandas.read_csv()的时候要如何设置？ 解决 比如当生成文件的时候使用#|#作为分隔符，直接使用df = pd.read_csv(raw_file, sep='#|#', quoting=3)会报错： df = pd.read_csv(raw_file, sep='#|#', quoting=3) File "/data/miniconda3
python 读取excel中的数据总是有奇奇怪怪的字符
大小都是愁的成长之路
08-02 1289
valueError: could not convert string to float；excel
pandas入门
weixin_47786612的博客
09-04 2392
pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool
pandas读取TXT，txt中数据以空格间隔
weixin_42613017的博客
01-06 1837
可以使用pandas的read_csv函数来读取TXT文件中的数据。在调用read_csv函数时，可以使用sep参数指定数据之间的分隔符。例如，如果TXT文件中的数据以空格间隔，则可以使用sep=' '调用read_csv函数。 下面是一个例子： import pandas as pd # 读取TXT文件中的数据 df = pd.read_csv('data.txt', sep=' ') # ...
python的pandas库中read_table的参数
热门推荐
uvwxyzhao的博客
07-02 3万+
pandas中read_table的参数:官方说明地址:http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_table.html参数如下:pandas.read_table(filepath_or_buffer,sep='\t',delimiter=None, header='inf...
使用pandas的read_table方法读取本地文件，UnicodeDecodeError: 'utf-8'
进击的mayi
07-13 4257
使用pandas的read_table方法读取本地文件时，爆出这个错误: UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xce in position 52: invalid continuation byte 错误原因是‘utf-8’不能解码位置52的那个字节（0xce），也就是这个字节超出了utf-8的表示范围了，编码解码...
python用pandas读取csv表的数据
最新发布
04-29
可以使用 pandas 库中的 read_csv() 函数来读取 csv 文件中的数据。例如，假设你有一个名为 data.csv 的 csv 文件，其中包含了如下的数据： ``` Name, Age, City John, 25, New York Sarah, 30, Los Angeles Bob, 22, Chicago ``` 你可以使用以下代码来读取这个 csv 文件： ```python import pandas as pd data = pd.read_csv("data.csv") print(data) ``` 输出结果为： ``` Name Age City 0 John 25 New York 1 Sarah 30 Los Angeles 2 Bob 22 Chicago ``` 在读取 csv 文件时，你可以使用 read_csv() 函数的一些参数来指定一些选项，例如： - `sep`: 分隔符，默认为逗号，但有时候可能是其他符号。 - `header`: 表头所在的行数，默认为 0，如果没有表头，则可指定为 None。 - `names`: 自定义表头的名称，如果原表中没有表头。 - `index_col`: 指定某一列作为索引列。 - `usecols`: 选取需要读取的列。 - `skiprows`: 跳过指定行数不读取。 - `nrows`: 指定需要读取的行数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值