数据挖掘
baixiaofu
这个作者很懒,什么都没留下…
展开
-
数据探索和预处理可能涉及到的算法
相关性分析; 主成分分析,用较少的变量来反映较多变量,这些较少的变量能反映原始变量的大部分信息,且彼此之间是线性无关的。 周期性分析:在时间序列预测时,经常要对样本数据进行周期性分析,以更好的理解样本数据变化的特点,为时序预测分析提供指导依据。 缺失值分析:样本数据中经常会出现一些缺失值,在进行建模预测前,需要对缺失值按照某些规则进行处理。处理的方法有:删除和数据补齐。 坏数据处理:如果抽取转载 2017-05-22 22:07:21 · 361 阅读 · 0 评论 -
R实现类似EXCEL中数据的透视功能:数据的行列转换
先介绍下融合和重铸能实现什么样的功能: 例子:想把表1—->>转换成为表2 表1: 表2: R实现数据的透视功能,使用reshape2包中的melt()函数和dcast()函数。在《R语言实战》这本书中有着详细的介绍。我在这里引用了其中的一些内容。 首先是融合函数,融合顾名思义就是把原先的数据进行融化合并,具体melt()函数会融合成什么样的形式呢? Library(reshape2原创 2017-07-15 17:11:22 · 5156 阅读 · 0 评论 -
不同模型代价函数的梯度下降算法
梯度下降reprat:θj=θj−α∂J(θ0,θ1⋯θn)∂θjforj=0,1⋯,nreprat:θj=θj−α∂J(θ0,θ1⋯θn)∂θjforj=0,1⋯,nreprat: \theta_j=\theta_j-\alpha\frac{\partial J(\theta_0,\theta_1\cdots\theta_n)}{\partial \theta_j} \\ for \...原创 2018-04-28 17:13:27 · 492 阅读 · 0 评论 -
数据处理pandas常用的函数
这一部分主要是数据处理中常用的一些函数最近突然要处理大量的数据,而且都是基本统计相关的操作,这些都是可以在excel中实现的只是实现起来不能auto,所以使用Python进行操作来实现自动化。先来熟悉一波函数,在实际的操作中使用到如下所示。 函数名/方法/属性 参数 返回值 其他 方法groupby() groupby(columns,axis=) G...原创 2018-06-21 17:04:08 · 2418 阅读 · 0 评论 -
python数据框中列进行条件查询替换
Python中数据框的方法map(function or dict)Python中的数据框,在进行数据分析的时候或者建模的时候,可能会遇到某列的数据取值是字符串的形式。但是我们想把这种数据转变为数值型,方便我们下一步的建模需求。比如:在df数据框中存在一列名为 ‘age’,但是取值为 “中年”、“青年”、“老年”。我们想把这种字符串转换为1,2,3.data['age1']=data[...原创 2018-06-15 18:16:40 · 6986 阅读 · 0 评论 -
python和数据库postgresql连接
两者之间的连接需要使用到一个包:psycopg2。建立连接这个包中的包含着我们建立连接需要的主要函数有connect函数,这个函数的作用是建立连接。也就是两者之间的一个借口,通过这个借口我们可以在Python中可以进行我们在数据库postgresql中所能进行的查询工作。这个函数的主要参数如下:connection=connect(host='主机',import='端口',use...原创 2018-06-19 10:32:50 · 2051 阅读 · 0 评论 -
Python各种数据类型索引和分片
什么是索引? 其本质特征是只揭示内容出处或文献线索 ,并不直接提供事实、资料本身。主要功能是为人们准确、迅速地获得文献资料提供线索性指引。常见的索引主要有报刊论文资料索引、文集篇目索引、语词索引、文句索引、关键词索引、专名索引、主题索引等。list数据类型的索引 列表中元素的位置是从0开始进行标记的。索引可以按照如下形式进行#a为lista[0]a[-1] #获取最后一个元素...原创 2018-06-19 14:52:32 · 2687 阅读 · 0 评论 -
Python数据的合并
数据的合并有两种形式:一种是按照列进行合并;一种是按照行进行合并列合并 merge(data1,data2,how=’left’,out,inner,on=’userid’) 当合并的两个表都没有相同的列名的时候也可以合并,通过制定left_on ,right_on 来进行合并。 merge(df1,df2,left_on = ,right_on=)行合并 pandas中使用con...原创 2018-06-19 15:45:50 · 2185 阅读 · 0 评论