人之初,性贪婪

I just want to live while I'm alive

Scikit-learn

参考博客:https://www.cnblogs.com/lianyingteng/p/7811126.html https://blog.csdn.net/u014248127/article/details/78885180 传统的机器学习任务从开始到建模的一般流程是:获取数据 -&...

2018-08-07 13:49:04

阅读数 87

评论数 0

kaggle—houseprice

 kaggle项目实战——房价预测 数据集:input:链接:https://pan.baidu.com/s/1lc5vTN04jFQ3-600kOKFvQ 密码:2aqf import numpy as np import pandas as pd import matplotlib.py...

2018-07-23 17:09:21

阅读数 626

评论数 0

学习率优化(一)

上节介绍了反向传播时权值更新方法,更新隐含层:;更新输出层:。看似已经完美的解决了问题,但是怎么取值呢? 我们把问题转化到求二次函数极值问题,例如,如果用梯度下降法求函数极值,每一次的取值为,一步步趋近极小值。 如果采用固定学习率:,初始值取,学习率使用0.01:   分析:经过200...

2018-07-17 22:24:09

阅读数 887

评论数 0

集成学习——Boosting之Ada-boost

1.1.1. Boostingboosting是一个迭代的过程,用于自适应地改变训练样本的分布,使得基分类器聚焦在那些很难分的样本上。boosting会给每个训练样本赋予一个权值,而且可以再每轮提升过程结束时自动地调整权值。开始时,所有的样本都赋予相同的权值1/N,从而使得它们被选作训练的可能性都...

2018-07-16 08:47:48

阅读数 554

评论数 0

集成学习——Boosting之提升树(Boosting tree)、梯度提升树(GBDT)、XGBoost

提升树是以回归树为基本分类器的提升方法。以决策树为基函数的提升方法称为提升树(boosting tree)。对分类问题决策树是分类树,对回归问题决策树为回归树。首先定义决策树用公式表示。 提升树算法: 1.首先确定初始提升树; 2.第二个提升树 第三个提升树 ……推出: 3.回忆一下C...

2018-07-16 08:47:35

阅读数 1596

评论数 0

集成学习——Bagging

1.1.1. BaggingBagging也叫自举汇聚法(bootstrap-aggregating),是一种在原始数据集上通过有放回抽样重新选出S个新数据集来训练分类器的集成技术。也就是说这些新数据集是允许重复的。使用训练出来的分类器集合来对新样本进行分类,然后用多数投票或者对输出求均值的方法统...

2018-07-15 20:51:40

阅读数 547

评论数 0

无监督学习——关联分析

1.1. 关联分析1.1.1. Apriori算法(先验算法)关联分析(Association Analysis):在大规模数据集中寻找有趣的关系。频繁项集(Frequent Item Sets):经常出现在一块的物品的集合。关联规则(Association Rules):暗示两个物品之间可能存在...

2018-07-15 20:43:33

阅读数 1850

评论数 0

监督学习——决策树

1.1. 决策树度量方法:信息增益(ID3)信息增益率(C4.5)基尼指数(CART)对一个给定样本分类所需要的信息熵: S:是s个数据样本的集合m:类别标签具有m个:定义m个不同类:是类中样本数:任意样本属于的概率,信息期望: 信息增益: 例如:  1.1.1. 迭代Dichotomiser3(...

2018-07-15 17:50:39

阅读数 724

评论数 0

监督学习——贝叶斯

1.1.1. 朴素贝叶斯贝叶斯公式:换个表达形式就会明朗很多,如下:我们最终求的p(类别|特征)即可!就相当于完成了我们的任务。例如: 如果一对男女朋友,男生想女生求婚,男生的四个特点分别是不帅,性格不好,身高矮,不上进,请你判断一下女生是嫁还是不嫁?这是一个典型的分类问题,转为数学问题就是比较p...

2018-07-15 17:38:04

阅读数 774

评论数 0

监督学习——回归

回归是有达尔文表弟提出的,这个梗想了解的可以自己查,他说‘回归’反映了系统的随机运动总是趋向于其整体运动规律的趋势。以下将介绍:(1)线性回归(2)二分类:Logistic回归(3)多分类:Softmax回归(4)广义线性模型1.1.1.1. 线性回归线性回归就是用一个超平面去拟合样本点的标签:对...

2018-07-15 17:33:15

阅读数 749

评论数 0

监督学习——支持向量机SVM

支持向量机属于监督学习,是一种二类分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,支持向量机包括核心技巧,这使它成为实质上的非线性分类器。支持向量机的学习策略是间隔最大化,可形式化为一个求解凸二次规划的问题。支持向量机学习方法包含构建由简至繁的模型:线性可分支持向量机、线性支持向量...

2018-07-15 17:06:13

阅读数 1915

评论数 0

玻尔兹曼机BM

玻尔兹曼机(BM)神经元网络的运行:利用模拟退火算法,因为使用了玻尔兹曼分布作为激活函数,所以称为玻尔兹曼机,其原理其实是模拟退火算法。玻尔兹曼分布在统计力学中的表达形式为:E是状态能量(从一种状态变化到另一种状态),KT(分布常数)是玻尔兹曼常数与力学温度的乘积。系统两种状态间的玻尔兹曼分布的比...

2018-07-15 12:51:41

阅读数 2835

评论数 0

反向传播BP

之前介绍的梯度下降法是最简单的神经网络--感知器网络。它是利用外界输入样本的刺激,通过不断迭代,修正权重向量,以使网络输出与期望输出减少差距,直至稳定。但感知器无法处理线性不可分的情况。1986年提出利用误差的反向传播原理设计了BP神经网络。BP网络改变了传统的网络结构,引入了新的分层和逻辑,基本...

2018-07-15 12:45:50

阅读数 589

评论数 0

长短时记忆网络LSTM

因为循环神经网络很难训练的原因,这导致了它在实际应用中,很难处理长距离的依赖。我们将介绍一种改进之后的循环神经网络:长短时记忆网络(Long Short Term Memory Network, LSTM),它成功的解决了原始循环神经网络的缺陷,成为当前最流行的RNN,在语音识别、图片描述、自然语...

2018-07-15 12:31:42

阅读数 2878

评论数 0

循环神经网络RNN

全连接神经网络和卷积神经网络,他们都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的。比如,当我们在理解一句话意思时,孤立的理解这句话的每个词是不够的,我们需要处理这些词连接起来的整个序列;当我们处...

2018-07-15 12:13:20

阅读数 1518

评论数 0

卷积神经网络CNN

卷积神经网络。这种神经网络在计算机视觉领域取得了重大的成功,而且在自然语言处理等其它领域也有很好的应用。卷积神经网络的示意图1: 一个卷积神经网络由若干卷积层、Pooling层、全连接层组成。三维的层结构:从图1我们可以发现卷积神经网络的层结构和全连接神经网络的层结构有很大不同。全连接神经网络每层...

2018-07-14 10:42:09

阅读数 1075

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭