![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
python数据分析与数据挖掘
文章平均质量分 79
python数据分析与可视化还要数据挖掘的相关知识以及学习记录
bigdata7
Java学习
展开
-
数据分析与可视化(四)Pandas学习基础一:统计分析基础
pandas的数据结构Series:类似于数组DataFrame:类似于表格Panel:Excel多表单Sheet【不常用】series:一维数组对象,通过索引来访问1.创建:可通过列表和字典来创建import pandas as pdimport numpy as nps1 = pd.Series([1,4,'ab',0])s2 = pd.Series({'A':'111', 'B':'你好', 'C':'345'})print(s1,'\t',s2)#>>>&原创 2021-04-09 09:21:08 · 1533 阅读 · 2 评论 -
数据分析与可视化(五)Pandas学习基础二:数据预处理
文章目录1.数据载入1.1读写文本文件(1)文本文件的读取:(2)文本文件的存储1.2读写excel文件t(1).pandas 的read_excel函数可以读取“xls”和“xlsx”两种excel文件(2).Excel文件的存储2.合并数据2.1 merge合并数据2.2concat数据连接2.3combine_first合并数据3.数据清洗3.1检测与处理缺失值1.缺失值的检测:2.缺失值的统计:3.缺失值的处理<1>.删除缺失值: `dropna(axis=0, how='any', t原创 2021-05-22 17:35:37 · 8409 阅读 · 21 评论 -
python数据分析与挖掘数据之探索数据
五.数据探索数据质量分析概念:检查原始数据中是否有脏数据。包括:缺失值,异常值,不一致的值,重复数据和特殊符号的数据(如#,*等)缺失值分析1.缺失值:数据记录的缺失与记录中某个字段信息的缺失,两者都会造成分析结构不正确。2.产生原因:有些信息暂时无法获取或者获取的代价比较大;有些信息是被遗漏的;属性值不存在(如儿童的固定收入,未婚者配偶的姓名等)。3.缺失值的影响:数据挖掘建模将丢失大量有用信息;数据挖掘模型所表现出来的不确定性增加,模型中蕴含的规律更难把握;包含空值的数据会使得建模过程陷入.原创 2021-04-05 18:11:59 · 474 阅读 · 0 评论 -
python数据分析与挖掘基础理论篇
该篇博文前三点理论部分出自该博主一.概述数据挖掘和数据分析都是从数据中提取一些有价值的信息,二者有很多联系,但是二者的侧重点和实现手法有所区分。数据挖掘和数据分析的不同之处:1、在应用工具上,数据挖掘一般要通过自己的编程来实现需要掌握编程语言;而数据分析更多的是借助现有的分析工具进行。2、在行业知识方面,数据分析要求对所从事的行业有比较深的了解和理解,并且能够将数据与自身的业务紧密结合起来;而数据挖掘不需要有太多的行业的专业知识。3、交叉学科方面,数据分析需要结合统计学、营销学、心理学以及金融原创 2021-04-05 17:48:28 · 371 阅读 · 0 评论 -
定性数据分布分析(饼图,条形图)
定性数据对于定性数据,根据变量的类型来分组,绘制饼状图或条形图来描述定性数据的分布不同菜品在某段时间的销售量分布情况import pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = 'SimHei'data = pd.read_excel("catering_dish_profit.xls")#饼图x = data['盈利']labels = data['菜品名']plt.figu原创 2021-03-28 16:04:26 · 3095 阅读 · 0 评论 -
定量分析---频率分布直方图(groupby,agg,round具体用法)
对数据集“捞起生鱼片”做定量分析穿插pandas的cut,groupby,agg方法定量数据分布分析对于定量数据而言,选择组数与组宽是做评率分布分析时最主要的问题,步骤如下: -第一步:求极差【max-min】 -第二步:决定组距与组数【组距观察数据自己给出,一般组距都是左闭右开区间的;组数=极差/组距】 -第三步:决定分点【也就是分布区间表格】 -第四步:列出频率分布表 -第五步:绘制频率分布直方图 原则:各组是相斥的,且包含了所有数据,各组的组宽原创 2021-03-28 15:54:36 · 3670 阅读 · 0 评论