数据挖掘与机器学习作业_02 数据预处理

已于 2023-01-03 22:34:56 修改
阅读量332 收藏
点赞数 1
分类专栏： 机器学习 文章标签： python 开发语言
于 2023-01-03 22:32:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46117498/article/details/128540497
版权
该文详细介绍了如何使用Python的pandas库进行数据预处理，包括将汉字转换为数值、处理类别特征、删除异常值和填充缺失值，以及消除数据中的非法字符。在处理过程中，应用了正则表达式和统计方法来规范化数据。
摘要由CSDN通过智能技术生成

数据预处理

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import scipy
import sklearn
# 正则表达式
import re
import sys
# 中心化
from sklearn.preprocessing import MinMaxScaler
# 标准化
from sklearn.preprocessing import StandardScaler
# 自定义的工具包
from my_tools import *

import warnings
warnings.filterwarnings("ignore")

读取数据

jibing = pd.read_excel("./某疾病数据.xlsx")

将汉字转换为数值

性别
set(jibing.loc[:,"性别"])
dict_sex = {"女":0,"男":1}
for i in range(jibing.loc[:,"性别"].shape[0]):
    jibing.loc[:,"性别"][i] = dict_sex[jibing.loc[:,"性别"][i]]
血型
set(jibing.loc[:,"血型"])

{'A', 'AB', 'B', 'O'}

dict_sex = {"A":0,"AB":1,"B":2,"O":3}
for i in range(jibing.loc[:,"血型"].shape[0]):
    jibing.loc[:,"血型"][i] = dict_sex[jibing.loc[:,"血型"][i]]
set(jibing.loc[:,"血型"])

{0, 1, 2, 3}

左右

set(jibing.loc[:,"左右"])

{'双侧', '右', '女', '左'}

查看各部分所占的比例，发现 左 和 右 所占的比例和接近 99%

对于比例较少的 女 和 双侧 可以认为是噪声，直接删除

length = jibing.loc[:,"左右"].shape[0]
length_nv = jibing[jibing["左右"] == "女"].shape[0]
length_sc = jibing[jibing["左右"] == "双侧"].shape[0]
length_z = jibing[jibing["左右"] == "左"].shape[0]
length_y = jibing[jibing["左右"] == "右"].shape[0]
print("左：" + str(length_z / length * 100) + "%")
print("右：" + str(length_y / length * 100) + "%")
print("双侧：" + str(length_sc / length * 100) + "%")
print("女：" + str(length_nv / length * 100) + "%")

左：32.76178812002449%
右：67.11573790569504%
双侧：0.0612369871402327%
女：0.0612369871402327%

删除某一行后使用 reset_index 保证索引的连续性

jibing = jibing.drop(labels=jibing[jibing['左右'] == "女"].index).reset_index(drop = True)
jibing = jibing.drop(labels=jibing[jibing['左右'] == "双侧"].index).reset_index(drop = True)

dict_lr = {"左":0,"右":1,}
for i in range(jibing.loc[:,"左右"].shape[0]):
    jibing.loc[:,"左右"][i] = dict_lr[jibing.loc[:,"左右"][i]]
set(jibing.loc[:,"左右"])

{0, 1}
症状持续时间
set(jibing.loc[:,"症状持续时间"])

{'10余天',
 '10余年',
 '10天',
 '10年余',
 '10月',
 '10月   ',
 '10月余',
 '11天',
 '11月',
 '11月余',
 '12天',
 '14年',
 '15天',
 '15年',
 '17天',
 '17年',
 '18月',
 '1周',
 '1周余',
 '1天',
 '1天余',
 '1年',
 '1年余',
 '1年半',
 '1年半余',
 '1月',
 '1月余',
 '20余天',
 '20余年',
 '20天',
 '20天余',
 '20年余',
 '21天',
 '2周',
 '2周余',
 '2天',
 '2天余',
 '2年',
 '2年余',
 '2月',
 '2月余',
 '2月余 ',
 '3周余',
 '3周月',
 '3天',
 '3年',
 '3年余',
 '3月',
 '3月余',
 '3月余 ',
 '40余天',
 '4天',
 '4小时',
 '4年',
 '4年余',
 '4月',
 '4月余',
 '4月余   ',
 '50天',
 '5天',
 '5年',
 '5年余',
 '5月',
 '5月余',
 '6年余',
 '6月',
 '6月 ',
 '6月余',
 '6月余 ',
 '7天',
 '7年余',
 '7月余',
 '8年',
 '8年余',
 '8月',
 '8月   ',
 '8月余',
 '9年余',
 '9月',
 '9月余',
 '9月余 ',
 '半年',
 '半年余',
 '半月余',
 '数年',
 '无'}

for i in range(jibing.loc[:,"症状持续时间"].shape[0]):
    if re.search('小时', str(jibing.loc[:,"症状持续时间"][i])) is not None:
        jibing.loc[:,"症状持续时间"][i] = 0
    if re.search('天', str(jibing.loc[:,"症状持续时间"][i])) is not None:
        jibing.loc[:,"症状持续时间"][i] = 1
    if re.search('周', str(jibing.loc[:,"症状持续时间"][i])) is not None:
        jibing.loc[:,"症状持续时间"][i] = 2
    if re.search('月', str(jibing.loc[:,"症状持续时间"][i])) is not None:
        jibing.loc[:,"症状持续时间"][i] = 3
    if re.search('年', str(jibing.loc[:,"症状持续时间"][i])) is not None:
        jibing.loc[:,"症状持续时间"][i] = 4

set(jibing.loc[:,"症状持续时间"])

{0, 1, 2, 3, 4, '无'}

统计某一列各元素出现的个数

https://blog.csdn.net/zr1213159840/article/details/107818784?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-3-107818784-blog-103014532.pc_relevant_recovery_v2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-3-107818784-blog-103014532.pc_relevant_recovery_v2&utm_relevant_index=6

jibing['症状持续时间'].value_counts()

4    797
3    756
1     58
2     18
无      1
0      1
Name: 症状持续时间, dtype: int64

无占很小的比例，直接删掉那一行

pandas 获取指定列中的某个值（范围）所属的行

https://blog.csdn.net/weixin_44222183/article/details/106187018

jibing[jibing['症状持续时间'] == "无"].index

Int64Index([1515], dtype='int64')

pandas 删除某一行

https://blog.csdn.net/LHJCSDNYL/article/details/124784943?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522166808474916800182765154%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=166808474916800182765154&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduend~default-1-124784943-null-null.142v63wechat,201v3add_ask,213v2t3_esquery_v1&utm_term=pandas%20%E5%88%A0%E9%99%A4%E6%9F%90%E4%B8%80%E8%A1%8C&spm=1018.2226.3001.4187

jibing = jibing.drop(labels=jibing[jibing['症状持续时间'] == "无"].index)
jibing = jibing.drop(labels=jibing[jibing['症状持续时间'] == 0 ].index)

jibing.head(5)
左右是否外伤症状持续时间明显夜间痛性别年龄高血压高血脂2型糖尿病吸烟与否...果糖胺肌酸激酶α-L-盐藻糖苷酶乳酸淀粉酶同型半胱氨酸铁总铁结合力血型结果
01030.01540001...2.0373.039.02.048.015.513.459.400
11111.00631010...2.9084.020.03.171.017.712.467.100
21041.00650000...1.55121.07.01.863.011.419.650.520
30110.01450001...1.90187.019.02.342.09.49.855.820
41131.01550000...2.1966.025.02.0111.015.326.154.800

5 rows × 63 columns

填补缺失值

未发现缺失值

jibing.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 1629 entries, 0 to 1630
Data columns (total 63 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   左右             1629 non-null   object 
 1   是否外伤           1629 non-null   int64  
 2   症状持续时间         1629 non-null   object 
 3   明显夜间痛          1629 non-null   float64
 4   性别             1629 non-null   object 
 5   年龄             1629 non-null   int64  
 6   高血压            1629 non-null   int64  
 7   高血脂            1629 non-null   int64  
 8   2型糖尿病          1629 non-null   int64  
 9   吸烟与否           1629 non-null   int64  
 10  饮酒与否           1629 non-null   int64  
 11  红细胞计数*10^12/L  1629 non-null   float64
 12  血红蛋白           1629 non-null   float64
 13  红细胞压积          1629 non-null   float64
 14  血小板计数          1629 non-null   float64
 15  血小板压积          1629 non-null   float64
 16  总蛋白g/L         1628 non-null   float64
 17  白蛋白g/L         1629 non-null   float64
 18  球蛋白g/L         1629 non-null   object 
 19  白球比            1629 non-null   float64
 20  ALT丙氨酸氨基转移酶    1629 non-null   int64  
 21  AST天门冬氨酸氨基转移酶  1629 non-null   int64  
 22  碱性磷酸酶          1629 non-null   int64  
 23  谷氨酸转肽酶         1629 non-null   int64  
 24  AST:ALT        1629 non-null   float64
 25  总胆红素           1629 non-null   float64
 26  直接胆红素          1629 non-null   float64
 27  间接胆红素          1629 non-null   float64
 28  钾              1629 non-null   float64
 29  钠              1629 non-null   float64
 30  氯              1629 non-null   float64
 31  钙              1629 non-null   object 
 32  磷              1629 non-null   float64
 33  镁              1629 non-null   float64
 34  葡萄糖            1629 non-null   float64
 35  肌酐             1629 non-null   float64
 36  尿素             1629 non-null   float64
 37  尿酸             1629 non-null   float64
 38  甘油三酯           1629 non-null   float64
 39  总胆固醇           1629 non-null   float64
 40  H高密度胆固醇        1629 non-null   float64
 41  L低密度胆固醇        1629 non-null   float64
 42  载脂蛋白A1         1629 non-null   float64
 43  载脂蛋白B          1629 non-null   float64
 44  载脂蛋白E mg/l     1629 non-null   float64
 45  aPoB/aPoA1     1629 non-null   float64
 46  脂蛋白小a          1629 non-null   object 
 47  乳酸脱氢酶LDH       1629 non-null   int64  
 48  β-2微球蛋白        1629 non-null   float64
 49  胆碱酯酶           1629 non-null   int64  
 50  前白蛋白mg/l       1629 non-null   int64  
 51  总胆汁酸           1629 non-null   float64
 52  腺苷脱氨酶ADA       1629 non-null   float64
 53  果糖胺            1629 non-null   float64
 54  肌酸激酶           1629 non-null   float64
 55  α-L-盐藻糖苷酶      1629 non-null   float64
 56  乳酸             1628 non-null   float64
 57  淀粉酶            1629 non-null   float64
 58  同型半胱氨酸         1629 non-null   float64
 59  铁              1629 non-null   float64
 60  总铁结合力          1629 non-null   float64
 61  血型             1629 non-null   object 
 62  结果             1629 non-null   int64  
dtypes: float64(41), int64(15), object(7)
memory usage: 814.5+ KB

缺失值填补

缺失值占了很少的比例，所以直接去掉缺失值所在的行

jibing.dropna(axis=0,inplace=True)

jibing.head(5)
左右是否外伤症状持续时间明显夜间痛性别年龄高血压高血脂2型糖尿病吸烟与否...果糖胺肌酸激酶α-L-盐藻糖苷酶乳酸淀粉酶同型半胱氨酸铁总铁结合力血型结果
01030.01540001...2.0373.039.02.048.015.513.459.400
11111.00631010...2.9084.020.03.171.017.712.467.100
21041.00650000...1.55121.07.01.863.011.419.650.520
30110.01450001...1.90187.019.02.342.09.49.855.820
41131.01550000...2.1966.025.02.0111.015.326.154.800

5 rows × 63 columns

其他非法字符

小数点输入重复

多余的 +

去量纲化的过程中发现有很多部分数字的小数点重复，
为了不对整体产生影响，决定将其删除

kmp 算法

ValueError: could not convert string to float: ‘22…9’

drop_index = []
for i in range(jibing.shape[0]):
    for j in range(jibing.shape[1]):
        p=".."
        p=list(p)
        s=list(str(jibing.iloc[i,j]))
        next=[0]
        Get_next(p, next)
        if kmp_match(s,p,next) != -1:
            drop_index.append(i)
        p = "+"
        p=list(p)
        s=list(str(jibing.iloc[i,j]))
        next=[0]
        Get_next(p, next)
        if kmp_match(s,p,next) != -1:
            drop_index.append(i)
drop_index

[155, 265, 356]

jibing = jibing.drop(labels=156,axis=0)
jibing = jibing.drop(labels=266,axis=0)
jibing = jibing.drop(labels=357,axis=0).reset_index()

打乱数据集

import random
id = [i for i in range(0,len(jibing))]
random.shuffle(id)
jibing_copy = jibing.copy()
for j in range(0,len(jibing)):
    jibing.iloc[j] = jibing_copy.iloc[id[j]]

jibing = jibing.iloc[:,1:]

jibing.head()
左右是否外伤症状持续时间明显夜间痛性别年龄高血压高血脂2型糖尿病吸烟与否...果糖胺肌酸激酶α-L-盐藻糖苷酶乳酸淀粉酶同型半胱氨酸铁总铁结合力血型结果
00030.00651000...1.3248.012.01.949.09.912.343.530
11120.00621000...1.6777.016.01.481.09.216.955.501
21041.00550000...1.8678.022.01.989.09.97.051.401
31030.00600000...1.6892.012.01.469.09.315.853.000
40130.00610000...1.6058.014.01.7153.08.113.245.901

5 rows × 63 columns

必须重新读取一下 excel 否则会报错

  • error :isnan
jibing.to_excel("./jibing_yuchuli_final.xlsx", index=False)

jibing = pd.read_excel("./jibing_yuchuli_final.xlsx")

使用 3σ 消除极值

jibing = three_sigema(jibing)

操作前有1624行
操作后有1598行
删去了26行

保存

jibing.to_excel("./jibing_yuchuli_final.xlsx", index=False)

jibing.shape

(1598, 63)
威尔士矮脚狗
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
某高校的机器学习与数据挖掘大作业
weixin_54707168的博客
05-28 1381
作业选题 实验一：《多源数据集成、清洗和统计》 实验二：《数据统计和可视化》 实验三：《k-means聚类算法》 实验一 实验二 成绩1和体测成绩的散点图 x轴：成绩1 y轴：体测成绩 链接：https://pan.baidu.com/s/1zCOLdy0x52XOKOkTOWRWnQ 提取码：viui 复制这段内容后打开百度网盘手机App，操作更方便哦 ...
python数据分析与挖掘实践大作业_数据挖掘大作业最终报告.PDF
weixin_39842237的博客
12-11 5984
数据挖掘大作业最终报告数据挖掘大作业最终报告学 院：计算机学院专 业：计算机应用技术年 级：2016级组 号：第六组成 员：赵 颖 2620160012王晓媛2620160007李昱燃2620160009用户行为预测——以某电信公司为例摘要本文讨论了一个关于用户行为预测的数据挖掘问题，在对某电信公司客...
大数据基础与应用课程作业一：数据预处理
weixin_44180506的博客
10-02 2467
目录数据预处理作业题目一、总览二、R和Rstudio一些操作1.R注释2.工作路径的设置3.清除历史记录、变量等三、预处理工作1.查看数据是否具有缺失值(1)实验代码(2)原理介绍(3)实验结果(4)结果解释2.检查state和Area.code字段的异常3.可视化检查CustServ.Calls的离群点(1)实验代码(2)原理介绍(3)实验结果(4)结果解释4.使用z-score、IQR方法判断CustServ.Calls离群点(1)实验代码(2)原理介绍(3)实验结果(a)z-score结果(b)箱线图
数据预处理习题
Caramel_biscuit的博客
05-09 1676
对现实世界中的同一实体，来自不同数据源的属性值可能是不同的 集成多个数据库时，经常会出现冗余数据 数据仓库需要对高质量的数据进行一致地集成 数据仓库往往存有海量数据，在其上进行复杂的数据分析与挖掘需要很长的时间 高质量的决策必须依赖高质量的数据 数据可以分层聚类，并被存储在多层索引树中。 用于数据规约的时间不应当超过或抵消在归约后的数据上挖掘节省的时间 连续属性离散化的问题本质是决定选择多少个分割点和确定分割点位置 离散化通过将属性域划分为区间，减少给定连续属性值的个数 ..
Python数据预处理实验：实验三 使用pandas进行数据清洗
m0_68526732的博客
01-23 846
摘要：本文是Python数据预处理实验的第三节：使用pandas进行数据清洗
数据挖掘之数据预处理，吉林大学数据挖掘作业第一题
weixin_45275982的博客
01-15 2051
一共有三种文档，每种分别取一种作为例子 1.入学信息预处理： 代码： data=read.csv("F:\\数据包\\入学信息.csv", header = TRUE) #判断有无缺失值 sum(is.na(data)) #数据离散化 str(data) for(i in 1:501) { if(data[i,4]=='英语'){data[i,4]="YES";} else {data[i,4]="NO";} } #将更新后的数据写入文件中 data <- rename(data,c(外语语种 =
Python数据挖掘与机器学习开发实战_基于线性回归的股票预测_优秀案例实例源代码源码.zip
06-20
在Python数据挖掘与机器学习领域，线性回归是一种基础但重要的预测模型，尤其在金融行业中，如股票市场预测，它的应用十分广泛。本项目通过实际的案例，详细讲解了如何运用线性回归来预测股票价格，帮助我们理解并...
数据挖掘互评作业1：数据探索性分析与数据预处理.zip
最新发布
03-03
在本项目“数据挖掘互评作业1：数据探索性分析与数据预处理”中，我们将深入探讨人工智能领域中的核心步骤——数据预处理。这个过程是机器学习项目的基础，因为高质量的数据是模型性能的关键。我们将使用Python编程...
python数据挖掘机器学习实战（代码+数据集）——汽车销售透漏税纳税人自动识别.zip
04-13
本资料包是关于Python在数据挖掘和机器学习领域的实战应用，特别关注于汽车销售领域中的税务问题，即如何通过算法自动识别潜在的漏税纳税人。这个项目提供了完整的代码实现和相关数据集，使得读者能够在理解代码的...
数据挖掘大作业_《银行客户流失分析》.pdf
06-19
数据挖掘大作业文档，对银行客户流失进行分析，随着互联⽹⾦融的异军突起，银⾏业的竞争愈加激烈，防⽌客户流失和挽留⽼客户成为各⼤银⾏ 关⼼的重要问题。本⽂⾸先根据已有数据集对各特征进⾏描述性统计分析，初步...
重庆大学 数据分析与数据挖掘课程作业 机器学习与数据挖掘算法-人脸识别算法 共14页.pptx
04-03
算法介绍 算法实现 结果分析 算法优化
【大数据处理与可视化】四、数据预处理
慢热型网友的博客
05-03 2742
预处理部分地区信息：给定北京和天津地区的统计信息，这些数据中都或多或少的存在一些问题，如重复的数据、缺失的数据。请使用Pandas对爬取的数据进行预处理操作，具体包括：检查重复数据，一旦发现有重复的数据，就需要将其进行删除。检查异常，一旦发现数据中存在异常，通常先要对原始数据进一步确认，如果是错误的数值，则直接使用正确的数值进行替换。通过本次实验，我能熟练运用数据清洗的常见操作检查和处理各类有问题的数据，其中包括重复值的查询和处理，缺失值的查询和处理，基于three_sig和基于箱型图的异常值的查询处理。
机器学习与数据挖掘-educoder-实训作业（逻辑回归）
m0_64351669的博客
10-16 3825
机器学习与数据挖掘-educoder-实训作业（逻辑回归）
机器学习与数据挖掘-实验一
qq_53932746的博客
07-20 1910
（1）编码实现基于梯度下降的单变量和多变量线性回归算法，包括梯度的计算与验证； （2）画数据散点图和求得的直线； （3）画梯度下降过程中损失的变化图； （4）基于训练得到的参数，输入新的样本数据，输出预测值； 上面是代码的格式，由于在python中格式是非常...
数据挖掘与机器学习作业_08 Adaboost
weixin_46117498的博客
01-03 179
Adaboost
【可视化】数据仓库与数据挖掘大作业
jsgaobiao的博客
05-29 1万+
Ø  【概述】 本次大作业我们选取了第一个题目：基于统计方法的数据分布的图形显示。我们从各省市统计局公布的数据中搜集了包括人均GDP（元）、人口密度（人/平方公里）、PM2.5年平均浓度（微克/立方米）、年旅游收入（亿元）的数据并且做了统计和可视化。 我们认为这些数据可以一定程度上反映出一个省或直辖市的经济（人均GDP）、社会（人口密度）、环境（PM2.5年平均浓度）和文化产业（旅游收入）的发
数据挖掘 文本分类 知乎问题单分类（二）：爬取知乎某话题下的问题（数据爬取）
Miracle42的博客
01-06 1760
数据挖掘 文本分类 知乎问题单分类（二）：爬取知乎某话题下的问题（数据爬取）爬虫目标Scrapy框架介绍Scrapy框架原理 [^1]Scrapy工作流程 [^2]具体实现安装Scrapy创建项目定义item编写存储MySQL的Pipelinespider编写总结反反爬（选修）[^4]参考 爬虫目标 由于我们打算对知乎某些话题下的问题和问题描述中的文按话题进行分类，所以使用了Python的Scra...
文本分类流程（一）文本分类的大致步骤+数据爬取+数据预处理------毕业论文的纪念
热门推荐
小果一粒沙的博客
05-25 1万+
本文主要介绍文本分类的前几个步骤，数据获取+数据清洗 下一个模块会开始讲解文本文本数据到数值数据的过渡，将文本数据转化为数值数据，并且提取转化后的特征，降维，输入到文本分类器中进行训练、测试、评估。 文本分类的基本步骤： 1.数据获取 方法：网页爬虫，使用别人的代码或者自己写代码（GitHub上找有没有你需要的） 2.数据清洗 方法： 去重，去除重复的评论。如果数据抓取的好，则可以不用执行这一步...
机器学习数据挖掘大作业py
10-13
总之，机器学习数据挖掘大作业py是一个用Python实现的项目，它涉及数据预处理、特征选择和工程、模型建立和评估等步骤。通过这个项目，我们可以提高我们对机器学习和数据挖掘技术的理解，并应用这些技术来解决实际...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值