Datawhale-数据分析-Task02 数据清洗及特征处理

最新推荐文章于 2022-03-25 00:55:13 发布
最新推荐文章于 2022-03-25 00:55:13 发布
阅读量203 收藏
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/karry_zzj/article/details/108156175
版权

在这里插入图片描述
我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的样子。

缺失值观察与处理

有些数据是缺失的，即NaN

缺失值观察

在这里插入图片描述
在这里插入图片描述

对缺失值进行处理在这里插入图片描述

在这里插入图片描述

重复值观察与处理

查看数据中的重复值

在这里插入图片描述

对重复值进行处理在这里插入图片描述

特征观察与处理

对年龄进行分箱处理

在这里插入图片描述

对文本变量进行转换

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

在这里插入图片描述

Bread Sir
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
动手学数据分析-Task02:数据清洗及特征处理
qq_35098624的博客
08-21 280
数据分析-Task02:数据清洗及特征处理 一、数据清洗 数据清洗(data cleaning)是在机器学习过程中一个不可缺少的环节，其数据的清洗结果直接关系到模型效果以及最终的结论。在实际的工作中，数据清洗通常占开发过程的50%-80%左右的时间。 学习自：https://blog.csdn.net/loveliuzz/article/details/78833835 ...
DataWhale-学术前沿趋势分析-Task1 论文数据统计.ipynb
01-17
DataWhale-学术前沿趋势分析-Task1 论文数据统计源码
DataWhale-动手数据分析-Task02：数据清洗及特征处理
ZZYYhzhy的博客
08-23 243
#加载所需的库 import pandas as pd import numpy as np #加载数据train.csv train = pd.read_csv('train.csv') 2 第二章：数据清洗及特征处理 我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的亚子。 2.1 缺失值观察与处理 我们拿到
Task02：数据清洗及特征处理（2天）
ydfbhml的博客
08-21 137
Task02：数据清洗及特征处理（2天） 学习内容：课程的第二章的第一部分（数据清洗及特征处理）
datawhale-动手学数据分析task02
数据分析基础-excel练习
06-17 285
datawhale-动手学数据分析task02（1）删除缺失值Drop the rows where at least one element is missing.Drop the rows where all elements are missing.Keep only the rows with at least 2 non-NA values.define in which columns to look for missing values.Keep the DataFrame with vali
动手学数据分析 | Datawhale-8月 | Task02：数据清洗及特征处理
weixin_44270751的博客
09-02 207
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章# 学习目标：学习内容：学习时间：学习产出：前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结学习内容：学习时间：学习产出： 提示：这里可以添加学习目标 例如：一周掌握 Java 入门知识 学习内容： 提示：这里可以添加要学的内容 例如： 1、 搭建 Java 开发环境 2、 掌握 Java 基本语法 3、 掌握条件语句 4、 掌握循环语句 学习时间： 提示：这里可以添加计划学习的时间 例如： 1、 周一至周五晚上
DataWhale之task02-数据清洗及特征处理
qq_41702232的博客
07-15 119
数据导入 import numpy as np import pandas as pd #加载数据 train.csv df_train = pd.read_csv('train.csv') 数据清洗及特征处理 缺失值观察 #查看每个特征的缺失值 df_train.info() <class 'pandas.core.frame.DataFrame'> RangeIndex: 891 entries, 0 to 890 Data columns (total 12 columns): #
Datawhale组队学习——数据分析Task02 数据清洗及特征处理
zxc123qwer的博客
01-12 217
以下学习笔记来自Datawhale组队学习的数据分析课程第二章，此次数据分析课程主要是完成kaggle上泰坦尼克的任务，实战数据分析全流程。 链接：https://github.com/datawhalechina/hands-on-data-analysis 数据清洗及特征处理 首先导入pandas和numpy import pandas as pd import numpy as np 加载数据： train_data=pd.read_csv('D:/jupyter_note/Datawhale_da
Datawhale-动手学数据分析-Task5
Ursuuuula的博客
03-25 1529
模型搭建和评估 【思考】这些库的作用是什么呢？： pandas： 用于数据分析、数据挖掘、数据清洗 matplotlib： 用于数据可视化 seaborn： 基于 matplotlib 的统计图制作库 Ipython.display.Image：直接使用 IPython.display 类的 Image 打开图片, 再 display 清洗后的数据比原始数据缺少了姓名和船票信息，这些数据与存活概率无相关性 监督学习：训练样本有标记 无监督学习：训练样本无标记 【思考】划分数据集的方法有哪些？： 留出法、交
task02-数据分析.md
03-25
天池比赛——二手车价格预测数据分析文档 熟悉数据 查看缺失值情况 分析数据类型及分布 分析数据间相关性
SemEval-2016 Task 5中文部分数据集
11-30
**细粒度文本情感分析**是一项复杂而深入的自然语言处理任务，其目标是对文本中的具体方面或特征进行情感极性判断。在这个场景下，我们关注的是**SemEval-2016 Task 5**，这是一个全球知名的评测任务，特别在2016年...
DataWhale数据挖掘学习–Task 2 数据分析
12-21
EDA数据分析2.1 数据加载2.2 查看数据概况2.3 检测缺失值、异常值、重复值2.3.1 缺失值判断2.3.2 缺失值可视化missingno矩阵查看缺失值missingno...具体频数2.5 数据特征分析2.5.1数字特征分析相关性分析查看几个特征的...
第二章：数据清洗及特征处理 task01.ipynb
01-14
第二章：数据清洗及特征处理 task01.ipynb
基于springboot+mybatis实现的学生管理系统
08-14
springboot 但功能包含(学生，教师，管理员),项目基于springboot2.1.x实现的管理系统。如果你是spring boot初学者，那么此项目非常适合你。如果喜欢，请随手给个star，谢谢。 编译环境 ： jdk 1.8 mysql 5.5 tomcat 7 框架 ： springboot2.0 mybatis jar包管理工具： Maven 编译器 ： IDEA 系统功能 : 学生信息管理 班级信息管理 教师信息管理 课程信息管理 选课信息管理 考勤信息管理 请假信息管理 成绩信息管理 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
rabbitmq-server-3.8.30-1.el7.noarch.rpm
08-14
rabbitmq-server-3.8.30-1.el7.noarch.rpm 是 RabbitMQ 3.8.30 版本的 RPM 软件包，专为 CentOS 7、RHEL 7 等使用 el7 标识的 Linux 发行版构建的。noarch 表示该包是架构无关的，即适用于任何 CPU 架构。此软件包包含 RabbitMQ 服务器及其所需的运行时组件。 rabbitmq-server-3.8.30-1.el7.noarch.rpm 是 RabbitMQ 3.8.30 版本的 RPM 软件包，专为 CentOS 7、RHEL 7 等使用 el7 标识的 Linux 发行版构建的。noarch 表示该包是架构无关的，即适用于任何 CPU 架构。此软件包包含 RabbitMQ 服务器及其所需的运行时组件。
BMS电池管理常用芯片-ads1256(耘天科技).pdf
08-14
BMS电池管理常用芯片，让设计与众不同。
基于Android网络音乐播放器APP设计与实现.docx
08-14
基于Android网络音乐播放器APP设计与实现.docx
Evidently AI - 内部机器学习平台的终极清单
最新发布
08-14
Evidently AI - 内部机器学习平台的终极清单
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值