代价函数

代价函数1. 方差代价函数代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为: 其中y是我们期望的输出,a为神经元的实际输出【 a=σ(z), where z=wx+b 】。2. 交叉熵代价函数公式对应一个神经元,多输...

2017-07-30 21:30:36

阅读数:172

评论数:0

用LDA处理文本(Python)

一、LDA介绍 LDA(Latent Dirichlet Allocation)是一种文档主题生成模型,也称为一个三层贝叶斯概率模型,包含词、主题和文档三层结构。所谓生成模型,就是说,我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题,并从这个主题中以一定概率选择某个词语”这样一个过程得...

2017-06-20 09:49:40

阅读数:1787

评论数:0

sklearn:点互信息和互信息

1、点互信息PMI 机器学习相关文献里面,经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性(比如两个 词)。 其原理很简单,公式如下: 在概率论中,我们知道,如果x跟y不相关,则p(x,y)=p(x)p(y)。二者相关性越大...

2017-06-03 00:07:53

阅读数:5796

评论数:0

sklearn:使用GBDT选择特征

(1)如何在numpy数组中选取若干列或者行?   >>>import numpy as np >>>tmp_a = np.array([[1,1], [0.4, 4], [1., 0.9]])  >>>tmp_a >>&g...

2017-05-27 17:02:35

阅读数:6955

评论数:0

sklearn:朴素贝叶斯(naïve beyes)

朴素贝叶斯的原理: 基于朴素贝叶斯公式,比较出后验概率的最大值来进行分类,后验概率的计算是由先验概率与类条件概率的乘积得出,先验概率和类条件概率要通过训练数据集得出,即为朴素贝叶斯分类模型,将其保存为中间结果,测试文档进行分类时调用这个中间结果得出后验概率。 一、基本定义 分类是把一...

2017-05-27 13:07:59

阅读数:1276

评论数:0

Python2.7编码问题

一、unicode、encode、decode 字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。 decode的作用是将其...

2017-05-26 18:47:53

阅读数:537

评论数:0

sklearn:SVM

from sklearn import svm 一、SVM分类 (1)模型参数初始化 clf = svm.SVC(C=0.6, kernel='linear', degree=3, gamma='auto', coef0=0.0, shrinking=True, probability=Fa...

2017-05-26 16:32:45

阅读数:329

评论数:0

sklearn:GBDT

一、GBDT分类 (1)模型参数初始化: from sklearn.ensemble import GradientBoostingClassifier gbdt = GradientBoostingClassifier( init=None, learning_rate=0.1...

2017-05-26 16:06:28

阅读数:960

评论数:0

Python机器学习库

Python是学习(和实现)机器学习技术最好的语言之一,其原因主要有以下几点: 语言简单:如今,Python成为新手程序员首选语言的主要原因是它拥有简单的语法和庞大的社区。功能强大:语法简单并不意味着它功能薄弱。Python同样也是数据科学家和Web程序员最受欢迎的语言之一。Python社区...

2017-05-25 14:40:54

阅读数:448

评论数:0

sklearn:随机划分训练集和测试集

一、sklearn.model_selection.train_test_split 作用: 随机划分训练集和测试集   官网文档: http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train...

2017-05-25 11:06:51

阅读数:5768

评论数:0

深入浅出机器学习

1、机器学习与人类思考的类比: 人类在成长、生活过程中积累了很多的历史与经验。人类定期地对这些经验进行“归纳”,获得了生活的“规律”。当人类遇到未知的问题或者需要对未来进行“推测”的时候,人类使用这些“规律”,对未知问题与未来进行“推测”,从而指导自己的生活和工作。     机器学习中的“...

2017-05-23 10:30:03

阅读数:600

评论数:0

降维

为什么要降维? 找出规律,压缩数据量。 (1)特征值与特征向量 M矩阵,λ常数,e非零列向量 Me = λe (e为unit vector,第一个非零元素为正) 特征向量是单位向量;特征向量之间正交;特征向量矩阵E的特点,E*E^T = E^T*E = I。 (2)PCA(主成...

2017-05-23 01:40:11

阅读数:238

评论数:0

DM和ML的区别

1. DM更应用化,ML更偏研究与算法(所以公司一般有数据挖掘工程师,机器学习研究员)  2. ML的问题经常是明确定义的,包括数据集及目标(且数据集是固定的);DM通常只定义目标,甚至连目标也没有(给你一堆数据,给我找出有价值、有意思的东西出来);在定义了目标的情况下,DM可以使用非固定的数据...

2017-05-13 14:20:13

阅读数:919

评论数:0

如何快速构建用户画像?

一、什么是用户画像( personas)? Alan Cooper (交互设计之父)最早提出了 persona 的概念:“Personas are a concrete representation of target users.” Persona 是真实用户的虚拟代表,通过一系列的...

2017-05-13 13:43:58

阅读数:1620

评论数:0

特征工程(补充)--特征组合

特征组合变化也属于特征选择的一种手段,这部分工作可发挥的空间就看你的想像力和经验了。这里的组合变化远不限于把已有的特征加减乘除(比如Kernel Tricks之类)。      举个比较有想像力的例子——现在市面上社交网络里面“你可能认识的人”的推荐算法几乎都是基于补全网络的办法,这样推荐的人可...

2017-05-13 13:28:16

阅读数:5098

评论数:0

特征工程(5)--降维

当特征选择完成后,可以直接训练模型了,但是可能由于特征矩阵过大,导致计算量大,训练时间长的问题,因此降低特征矩阵维度也是必不可少的。 常见的降维方法除了上篇提到的基于L1惩罚项的模型以外,另外还有主成分分析法(PCA)和线性判别分析(LDA),线性判别分析本身也是一个分类模型。PCA和LDA有很...

2017-05-13 13:20:22

阅读数:307

评论数:0

特征工程(4)--特征选择

特征选择和机器学习算法两者存在紧密的联系,根据特征选择中子集评价标准和后续学习算法的结合方式可分为嵌入式(Embedded)、过滤式(Filter)和封装式(Wrapper)式三种。 嵌入式特征选择 集成法,先使用某些机器学习的算法和模型进行训练,得到各个特征的权值系数,根据系数从大到小选...

2017-05-13 13:08:28

阅读数:1008

评论数:0

特征工程(3)--特征处理

转自https://www.zhihu.com/question/29316149/answer/110159647 通过特征提取,我们能得到未经处理的特征,这时的特征可能有以下问题: 不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。信息冗余:对于某些定量...

2017-05-13 12:57:03

阅读数:876

评论数:0

特征工程(补充)--机器学习数据集里的不均衡数据问题

开头我们举个例子。 例如:“现在我正在运行一个分类模型。在我的数据集里面一共有3类数据,这里我们称它们分别为A,B和C,但是在我的训练数据集里面A,B和C三类数据分别占了90%,5%和5%。在大多数情况下,结果都过度拟合A类数据。” 在数据不均衡的情况下,我们得到90%的准确率(比如包含90%的数...

2017-05-13 12:37:55

阅读数:828

评论数:0

特征工程(2)--数据采集、数据清洗、数据采样

一、数据采集:数据采集前需要明确采集哪些数据,一般的思路为:哪些数据对最后的结果预测有帮助?数据我们能够采集到吗?线上实时计算的时候获取是否快捷?     举例1:我现在要预测用户对商品的下单情况,或者我要给用户做商品推荐,那我需要采集什么信息呢?      -店家:店铺的评分、店铺类别…… ...

2017-05-13 12:02:50

阅读数:1332

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭