机器学习
文章平均质量分 80
whai362
这个作者很懒,什么都没留下…
展开
-
用KNN做手写数字识别(mnist)
一. KNN的原理KNN的主要思想是找到与待测样本最接近的k个样本,然后把这k个样本出现次数最多的类别作为待测样本的类别。二. 数据源mnist数据集,包含42000张28*28的图片,可以从网盘下载http://pan.baidu.com/s/1kVi1nc7,下载完解压后如下图所示:三. 处理方法1. 把图片读取到一个28*28的矩阵里,然后对图片进行一个简单的二值化,原创 2016-07-03 00:17:06 · 24472 阅读 · 14 评论 -
决策树(ID3算法)
一. ID3算法原理ID3算法通过计算每个属性的信息增益,认为信息增益越大属性越优,每次划分选取信息增益最大的属性为划分标准,重复这个过程,直到构成一棵决策树。二. 关键概念1. 信息熵信息熵是描述事件给我们的惊讶程度,如果所有事件的概率均等,那熵值大,惊讶程度低。如果有一事件的概率极高而其他极低,熵值便低,惊讶程度大。其计算公式如下:2. 信息增益信息增益描述某个原创 2016-07-05 21:05:01 · 586 阅读 · 0 评论 -
梯度下降学习率的优化
问题描述令目标函数为f(x)f(x),当前点为xkx_k,当前搜索方向为dkd_k,我们把学习率α\alpha看做变量,不妨设: h(α)=f(xk+αdk),a>0h(\alpha)=f(x_k+\alpha d_k), a > 0 现在问题变成求h(α)h(\alpha)的最小值,假设h(α)h(\alpha)可导,则有: h′(α)=∂f(xk+αdk)∂(xk+αdk)dkh'(\al原创 2016-07-27 21:10:03 · 2424 阅读 · 2 评论 -
用朴素贝叶斯分类算法做中文文本分类
一. 朴素贝叶斯分类算法的原理朴素贝叶斯分类器基于属性条件独立假设:对于已知类别,假设所有属性相互独立,也就是说,假设每个属性独立地对分类结果产生影响。 设待分类的样本属性集为TTT,其中包含nnn个属性,分别为t1,t2,t3...tnt1,t2,t3...tnt_1,t_2,t_3...t_n,类别集合为γγ\gamma ,当前待判断类别为ccc,基于属性条件独立性假设,可得: P(c...原创 2016-07-07 11:08:15 · 15325 阅读 · 20 评论 -
Logistic回归和梯度上升算法
一. Logistic回归原理Logistic回归是一种广义线性回归,常用的分类器函数是Sigmoid函数,其公式如下: σ(z)=11+e−z\sigma(z)=\frac{1}{1+e^{-z}} 其中,zz可由下面公式得出: z=w0x0+w1x1+w2x2+⋅⋅⋅+wnxnz=w_0x_0+w_1x_1+w_2x_2+\cdot\cdot\cdot+w_nx_n 如果采用向量的写法,原创 2016-07-08 16:01:18 · 8046 阅读 · 8 评论 -
用RNN拟合加法运算
最近在看keras文档的时候看到一个关于RNN的很有意思的应用——用RNN拟合加法运算。看完之后我自己也实现了一下,原版代码在这里https://github.com/fchollet/keras/blob/master/examples/addition_rnn.py一. 实验描述用RNN拟合整数的加法运算,其中被加数和加数在区间[0,1000)[0, 1000)内。二. 实验思路先从数据讲起,因原创 2016-09-13 10:13:17 · 3185 阅读 · 2 评论 -
k-means聚类算法
一. 聚类的定义聚类能够将相似的样本尽量归入同一类,将不相似的样本归入不同的类,是一种无监督的机器学习算法。其中相似度的评价标准是人为制定的,一般情况下用欧式距离来衡量相似度。二. k-means算法k-means算法的伪代码如下:create k points for starting centroids (often randomly)while any point has changed c原创 2016-09-04 23:54:21 · 835 阅读 · 0 评论 -
theano学习笔记(一):Classifying MNIST digits using Logistic Regression
keras用得比较多,但是有时keras用起来不是很顺手。因为keras是基于theano或TensorFlow的,所以趁假期有空,先看看theano。Classifying MNIST digits using Logistic Regression 官方文档:http://deeplearning.net/tutorial/logreg.html一. 任务描述用Logistic Regress原创 2017-02-06 18:26:22 · 886 阅读 · 0 评论 -
日常学习记录
日常学习记录2016.7.12图像主色的 K-Means 分析Action Recognition using Visual Attention(基于CNN/LSTM的动作识别)Exploring the Space of Adversarial Images(对抗图像的生成)You Only Look Once:Unified, Real-Time Object Detection(实时物原创 2016-07-12 13:31:59 · 1091 阅读 · 0 评论