机器学习
BabY虎子
新手一个,纯属娱乐~
展开
-
统计学习方法 习题5.1 c4.5实现
题目要求:根据训练数据集,利用信息增益比(C4.5算法)生成决策树。信息增益比算法是id3算法的改进:信息增益比的定义:代码实现(机器学习实战的改编,保存为tree.py):from math import logimport operatordef createDataSet(): dataSet = [1,0,0,1,0],\原创 2017-03-20 09:11:17 · 1164 阅读 · 0 评论 -
字符级别word2vec
字符编码,word2vec,cnn原创 2017-12-21 11:33:58 · 4090 阅读 · 4 评论 -
keras for attention
keras还没有官方实现attention机制,有些attention的个人实现,在mnist数据集上做了下实验。模型是双向lstm+attention+dropout,话说双向lstm本身就很强大了。原创 2017-12-20 17:44:42 · 20073 阅读 · 16 评论 -
词向量之word2vec(2)
word2vec简单应用原创 2017-04-26 10:36:09 · 727 阅读 · 0 评论 -
词向量之加载word2vec和glove
1 Google用word2vec预训练了300维的新闻语料的词向量googlenews-vecctors-negative300.bin,解压后3.39个G。可以用gensim加载进来,但是需要内存足够大。#加载Google训练的词向量import gensimmodel = gensim.models.KeyedVectors.load_word2vec_format('G原创 2017-04-26 20:57:33 · 30047 阅读 · 5 评论 -
词向量之word2vec(1)
word2vector转载 2017-04-26 10:35:09 · 632 阅读 · 0 评论 -
bp算法推导过程
bp算法的推导过程,留个纪念。参考http://deeplearning.stanford.edu/wiki/index.php/反向传导算法原创 2017-04-19 17:47:27 · 1232 阅读 · 0 评论 -
条件熵的定义
最大熵模型中使用条件熵作为模型基础,决策树算法中利用经验条件熵作为计算信息增益的基础。当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时,所对应的熵和条件熵分别成为经验熵和经验条件熵。维基百科中也有对条件熵的定义和相关公式的描述。李航统计学习方法中最大熵模型的定义为:决策树求信息增益时的经验条件熵的定义为:可以看得出条件熵和经验条件熵公式是一样的,只是概原创 2017-04-18 09:31:34 · 8642 阅读 · 0 评论 -
tensorflow入门5 从一个二分类问题看rnn的结构
之前在笔记本上安上了tensorflow1.0版本,可以在本地运行tf的程序。今天看了一个rnn的例子,关于线性和非线性序列的分类问题。对于一个list,如果形如[1,2,3,4,5]这种有序的就说是分为class 0,[1,3,10,7]这种随机生成的序列就分为class 1。通过这个例子,对rnn的理解更明确了。还有一点就是tf1.0版本和之前的一些函数有所区别。代码解析如下:生成原创 2017-04-05 18:49:48 · 8104 阅读 · 1 评论 -
tensorflow入门2 几个函数的总结和手写数字识别
tensorflow中很多函数是对神经网络中用到的一些功能的封装tf.nn.softmax_cross_entropy_with_logits(logits,labels,name=None)函数,用来计算交叉熵损失。原创 2017-03-23 20:02:05 · 1973 阅读 · 0 评论 -
tensorflow入门1 基本用法和最近邻算法
#tensorflow入门例子import tensorflow as tfhello = tf.constant('Hello, Tensorflow!')sess = tf.Session()print sess.run(hello)print "--------------"###################################################ba原创 2017-03-22 14:54:38 · 558 阅读 · 0 评论 -
tensorflow入门3 卷积神经网络、循环神经网络以及双向lstm手写体识别
上一篇文章中总结了tf中卷积神经网络的两个中重要的函数,这篇文章里展示cnn在手写体识别中的应用import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("./MNIST_data/", one_hot=True)l原创 2017-03-27 15:51:15 · 1536 阅读 · 0 评论 -
统计学习方法 习题5.2 python实现
根据表5.2所示的数据,用平方误差损失准则生成二叉回归树二叉回归树的算法为:其中公式5.21中的c1,c2分别为R1和R2上数据的平均值代码仿照机器学习实战上关于决策树实现:原创 2017-03-20 00:36:34 · 2094 阅读 · 0 评论 -
numpy计算两二维数组距离
利用numpy可以很方便的计算两个二维数组之间的距离。二维数组之间的距离定义为:X的维度为(a,c),Y的维度为(b,c),Z为X到Y的距离数组,维度为(a,b)。且Z[0,0]是X[0]到Y[0]的距离。Z(m,n)为X[m]到Y[n]的距离。如下图所示。代码如下:#computer the distance between text point x and train point x_train原创 2017-12-22 10:14:34 · 7273 阅读 · 1 评论