【.csv数据预处理实战】pandas 驾驶参数选取

已于 2022-08-29 10:15:22 修改
阅读量845 收藏 7
点赞数 1
分类专栏： 数据分析 文章标签： pandas python 数据分析
于 2022-08-25 17:52:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rensweet/article/details/126529285
版权
本文介绍了如何利用pandas进行.csv数据预处理，包括读取数据、去除完全重复行、选取特定列、计算帧数、删除帧数不足120的数据，并最终保存为新文件。
摘要由CSDN通过智能技术生成

项目：驾驶风格聚类
数据太多，首先将需要的数据筛选出来
路线：读取原始数据——>删除重复行——>提取需要数据——>去除帧数小于120的数据——>另存为新的.csv文件

方便浏览先上原始数据

原始数据

无人机采集的6车道车辆行驶信息，1秒30帧的速度。下图是部分数据，只能先将需要的数据筛选出来
在这里插入图片描述

1.读取.csv数据文件

import pandas as pd
df = pd.read_csv('D:/driver/raw_data/Freeway.csv')

2.去除完全重复数据

#去除完全重复的行数据。fist：保留第一次出现的重复行，删除后面的重复行
df = df.drop_duplicates(keep='first')

3.pandas获取.csv文件指定多列数据

#需要处理的csv文件的第一行（各列名称）,获取列名为下的数据
save_columns = df[['frameNum', 'carId', 'speed', 'headXft', 'headYft','tailXft','tailYft','laneId']]

4.删除帧数<120的数据

4.1 获取帧数

思路：先按carId分组，分比计算每个carId的frameNum，用frameNum最大值-frameNum最小值=帧数

check0= save_columns.groupby(['carId'])['frameNum'].min().reset_index()#首先按carId分组，获得frameNum最小值，重置索引
check1= save_columns.groupby(['carId'])['frameNum'].max(
最低0.47元/天 解锁文章
半甜田田
关注
专栏目录
数据挖掘csv文件与xls文件预处理
ORIGINAL GEOMETRY
03-07 778
（1）、在windows下的csv文件，默认打开方式是GBK格式，在linux下打开的文件默认是utf-8的格式。所以windows下的格式在linux下会出现中文乱码的现象。使用iconv命令对整个文件进行转码的操作。 sudo iconv -f GBK -t UTF-8 d_train_20180102.csv -o new_d_train.csv 后面的第一个csv为需要转码操作的文...
python对csv文件的处理，pandas 数据预处理csv，案例详细
THREEFUCT的博客
01-05 7677
文章目录csv文件的导入CSV文件的导出不导出行号和标签，可分别将index或header设置为False使用columns参数设置想导出的列数据清理分组排序删除缺失值处理缺失值的删除缺失值的填充 papadas的用法请参考pandas数据预处理（Series DataFrame）详解附带案例 Pandas提供read_csv函数导入一个csv文件，导入的结果是一个DataFrame csv文件的导入 food文件内容可用记事本创建改后缀为csv 编号,名字,类别,单价,每100克热量 1,炒上海青,蔬果类
Python中对CSV数据预处理
雨后的小木屋
03-27 3431
CSV（Comma Separated Values）是一种常用的数据格式，它是以逗号作为分隔符的纯文本文件，通常用于存储大量的数据。在数据分析和机器学习领域，CSV数据预处理是一个必不可少的步骤。在本篇博客中，我们将介绍Python中对CSV数据预处理的所有步骤。
数据预处理（csv--＞json）
weixin_44540204的博客
11-10 650
对于csv文件数据的预处理过程 1. csv文件读取并转换成列表存储 首先，我们将讨论从CSV文件中获取数据并将其转换为以JSON格式存储。 我们有一个示例CSV文件colors.csv，其中包含一些有关颜色的数据。 加载并打印内容时，我们可以看到每行对应一种颜色，并包含ID，颜色名称，该颜色的十六进制代码以及该颜色的红色，绿色和蓝色值 用于RGB代码。 import csv, json from pprint import pprint reader = csv.reader(open("./data/
3. Pandas数据预处理
weixin_42167712的博客
09-18 4229
目录一、删除属性/特征选择1.1 删除某几列无用的属性、特征1.2 选择，保留某些特定属性1.3 更改特征，属性列的顺序1.4 删除只有一个值的属性二、缺失值处理2.1 只要有缺失值null就删除该行样本2.2 样本中有x个以上的缺失值才删除该行样本2.3 样本种所有数据都缺失才删除该行样本2.4 使用属性列的均值来填充缺失值2.5 使用特定值来填充缺失值2.6 使用缺失值的前一个/后一个值代替N...
这是本人做pandas练习时使用的csv数据.zip
07-20
在这个压缩包中，包含的是用于Pandas练习的CSV（Comma Separated Values）数据文件。CSV是一种常见的数据存储格式，广泛用于数据交换，因为它简洁、易于理解和处理。 首先，我们需要了解CSV文件的基本结构。CSV文件...
主成分分析数据文件AMZN.csv
08-24
1. 数据预处理：首先，加载CSV文件并检查数据的质量，包括缺失值、异常值和重复值等。可能需要进行数据清洗，例如填充缺失值、去除异常值或处理重复记录。 2. 特征选择：确定分析的变量，通常选取与研究目标密切...
python数据挖掘与分析实战第四章数据预处理_用Python进行数据挖掘（数据预处理）2018-04-22...
weixin_39793098的博客
12-13 450
数据加载与粗略查看处理丢失的数据处理偏离值数据统计特征值的合并、连接数据转换、标准化、归一化数据加载与粗略查看数据加载一般训练与测试的数据都提供csv格式，使用pandas库读取：df_train = pd.read_csv('../train.csv')此时读取的df_train为DataFrame格式。同时pandas还可以读取各种不同格式的数据，如存储比较快的hdf格式、excel等但有时数...
CSV数据（一）
weixin_30701521的博客
10-31 1829
import csvfrom matplotlib import pyplot as pltfilename = 'sitka_wather.csv'# 打开文件，存储在f中with open(filename) as f: reader = csv.reader(f) # 用next函数获取第一行的值 header_row = next(reader) print(hea...
数据预处理（超详细）
m0_74261473的博客
10-25 364
【例5-19】DataFrame对象的dropna默认参数使用。【例5-16】用info方法查看DataFrame的缺失值。【例5-8】merge函数中参数suffixes的应用。【例5-22】dropna中的thresh参数应用。【例5-27】判断DataFrame中的重复数据。【例5-10】两个DataFrame的数据连接。【例5-21】dropna中的axis参数应用。【例5-24】fillna中method的应用。【例5-17】Series的dropna用法。
数据预处理——Day 1
u014630987的博客
09-12 876
总所周知,对于机器学习任务,特别是对于深度学习任务,我们需要创建训练集,因此需要收集大量的数据.然而,在实际中,我们收集的数据极易受噪声、缺失值和数据不一致的影响。通常我们对数据进行如下几种预处理： 缺失值处理 异常值处理 冗余数据处理 数据标准化 数据离散化 数据向量化: 我自己总结的，主要针对文本数据。不知道算不算预处理，但这是文本数据的必须操作。 本文主要针对缺失值处理和数据向量化两...
深度学习——数据预处理
最新发布
2301_78951308的博客
08-06 1484
本文主要记录深度学习中数据预处理部分的内容
数据清洗 & 预处理入门
qq_64334741的博客
11-13 396
假如我们数据中有一列动物年龄，范围是 4~17，还有一列动物价值，范围是83,000。价值一栏的数值不仅远大于年龄一栏，而且它还包含更加广阔的数据范围。这表明，欧式距离将完全由价值这一特征所主导，而忽视年龄数据的主导效果。如果欧式距离在特定机器学习模型中并没有具体作用会怎么样？缩放特征将仍能够加速模型，因此，你可以在数据预处理中，加入特征缩放这一步。特征缩放的方法有很多。但它们都意味着我们将所有的特征放在同一量纲上，进而没有一个会被另一个所主导。
.csv文件与数据的读取
Konata的博客
01-22 2729
.csv文件的介绍 .csv文件（comma seperated value:逗号分隔值），是一种常见的用来存储一维或者二维的数据文件，它使用换行符与逗号存储数据，实际上是一种txt文件。 如图，左侧为原二维数据表格，右边为相对应的.csv文件。 .csv文件的保存 使用numpy库函数，可以方便地将数组保存为.csv文件。 可以看到，这个函数并不专门用来创建.c...
数据挖掘——常用数据预处理
weixin_40820983的博客
06-12 757
0、读取数据 排序 DataFrame.sort_values(by=‘##’,axis=0,ascending=True, inplace=False, na_position=‘last’) 参数 说明 by 指定列名(axis=0或’index’)或索引值(axis=1或’columns’) axis 若axis=0或’index’，则按照指定列中...
Pytorch自然语言处理(2) 使用torchtext工具包进行csv格式的文本预处理
qq_39216794的博客
06-10 1596
在训练NLP模型时，我们要做的第一件事是对数据集进行预处理。torchtext提供了一系列非常方便的API供用户使用，完美囊括了旧有的sklearn, keras等工具包的功能。 本文主要介绍如何使用torchtext处理csv格式的数据。首先我们会介绍用到的类，然后给出示例代码进行说明。 ...
数据预处理方法整理（数学建模）
weixin_53488599的博客
05-08 2747
总结了数学建模比赛数据预处理用到的几乎所有方法，主要针对excel数据，包括数据清洗、数据可视化和机器学习深度学习前的预处理
.用决策树使用train.csv作为训练集完成模型的建立，再将训练好的模型在test.csv上进行测试。 2.训练过程中注意数据预处理，并使用合适的方法进行特征选择。 3.测试过程计算模型的准确率（测试集标签在label.csv中）
06-01
好的，以下是使用决策树进行训练和测试的 Python 代码示例，包括数据预处理、特征选择和准确率计算： ``` python import pandas as pd from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from sklearn.feature_selection import SelectKBest, f_classif from sklearn.preprocessing import StandardScaler # 读取训练集和测试集数据 train_data = pd.read_csv('train.csv') test_data = pd.read_csv('test.csv') label_data = pd.read_csv('label.csv') # 数据预处理 def preprocess_data(data): # 缺失值处理 data['Age'] = data['Age'].fillna(data['Age'].median()) data['Fare'] = data['Fare'].fillna(data['Fare'].median()) # 特征工程 data['FamilySize'] = data['SibSp'] + data['Parch'] + 1 data['IsAlone'] = 1 data['IsAlone'].loc[data['FamilySize'] > 1] = 0 data['Title'] = data['Name'].str.split(", ", expand=True)[1].str.split(".", expand=True)[0] data['Title'].replace(['Ms', 'Mlle'], 'Miss', inplace=True) data['Title'].replace(['Mme', 'Countess', 'Lady', 'Dona'], 'Mrs', inplace=True) data['Title'].replace(['Capt', 'Col', 'Major', 'Dr', 'Rev'], 'Officer', inplace=True) data['Title'].replace(['Jonkheer', 'Don', 'Sir'], 'Royalty', inplace=True) # 数值化 data.loc[data['Sex'] == 'male', 'Sex'] = 0 data.loc[data['Sex'] == 'female', 'Sex'] = 1 data['Embarked'] = data['Embarked'].fillna('S') data.loc[data['Embarked'] == 'S', 'Embarked'] = 0 data.loc[data['Embarked'] == 'C', 'Embarked'] = 1 data.loc[data['Embarked'] == 'Q', 'Embarked'] = 2 data['Title'] = pd.Categorical(data['Title']) data['Title'] = data['Title'].cat.codes return data train_data = preprocess_data(train_data) test_data = preprocess_data(test_data) # 特征选择 features = ['Pclass', 'Sex', 'Age', 'SibSp', 'Parch', 'Fare', 'Embarked', 'FamilySize', 'IsAlone', 'Title'] selector = SelectKBest(f_classif, k=5) selector.fit(train_data[features], train_data['Survived']) selected_features = train_data.columns[selector.get_support()].tolist() # 划分训练集和验证集 train_features, val_features, train_labels, val_labels = train_test_split(train_data[selected_features], train_data['Survived'], test_size=0.2) # 特征标准化 scaler = StandardScaler() train_features_scaled = scaler.fit_transform(train_features) val_features_scaled = scaler.transform(val_features) test_features_scaled = scaler.transform(test_data[selected_features]) # 创建决策树模型并进行训练 clf = DecisionTreeClassifier() clf.fit(train_features_scaled, train_labels) # 在验证集上进行测试 val_pred = clf.predict(val_features_scaled) val_acc = accuracy_score(val_labels, val_pred) print('Validation accuracy:', val_acc) # 在测试集上进行测试 test_pred = clf.predict(test_features_scaled) test_acc = accuracy_score(label_data['Survived'], test_pred) print('Test accuracy:', test_acc) ``` 其中，我们首先对训练集和测试集进行数据预处理，包括缺失值处理、特征工程和数值化。接着，我们使用 SelectKBest 方法进行特征选择，选取 k 个最相关的特征。然后，我们使用 train_test_split 函数划分训练集和验证集，并对特征进行标准化处理。接着，我们创建决策树模型并对训练集进行训练，然后在验证集上进行测试，计算验证集上的准确率。最后，我们在测试集上进行测试，计算测试集上的准确率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值