一只慢慢爬的小蜗牛-CSDN博客

原创第二届搜狐内容识别算法大赛第一名分享

第二届搜狐内容识别大赛冠军LuckyRabbit团队的解决方案本文主要是向大家介绍一下团队的解决方案，具体代码和答辩PPT可以上 github第二届搜狐内容识别大赛冠军LuckyRabbit团队的解决方案任务说明任务要求数据格式评分标准代码流程流程框图流程说明数据预处理特征提取单模型深度学习模型机器学习模型训练方式模型比较模型融合Stacki...

2018-07-11 19:59:49 4939 2

原创 Batch Normalization--全连接神经网络和卷积神经网络实战

Batch Normalization原理网上博客一大堆，说的也很明白，这里就简单的说一下我的个人理解：对每一个特征值进行 0均值化，利于神经网络拟合时，对于自身的参数b，无需修改很多次，就可以达到收敛。（因为b的初始值是设为0的）去相关化，由于图像信息相邻像素间的信息有很多是相关的，去相关虽然有一个的训练精度损失，但是更有易于分类。Batch Normalization好处训练收敛速度快！

2017-04-28 22:33:57 5092

原创 cs231n 编程作业（2）学习心得——多种优化方法

cs231n编程作业确实厉害，这里记录一下学习心得优化方法选择普通梯度下降法普通的梯度下降法是我们最为熟悉的优化方法，代码如下x -= learning_rate * dx即是仅仅让权值沿着梯度最快下降的来减小虽然该方法原理很简单，但在实际应用中，却还是有很多的不足之处这里简单给出几点我的看法：收敛缓慢：在实际训练数据的时候，普通的梯度下降算法往往要经过多次迭代，才有可能收敛易收敛域局部极

2017-04-27 23:01:02 987

转载 softmax分类器 python实现

转自 http://blog.csdn.net/wds2006sdo/article/details/53699778?utm_source=itdadao&utm_medium=referral 算法算法参考的是Andrew 的课件与这篇文章。具体实现的时候发现加入权重衰减效果会更好。这里为了防止大家看不懂我的程序，我在这里做一些定义 ∇ΘjJ(Θ)=−x(i)(1{y(i)=j}−p(y

2017-04-24 21:04:41 7660

转载 bp神经网络的python实现

转载于：http://www.cnblogs.com/charlotte77/p/5629865.html最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是

2017-04-18 23:28:00 8654 5

原创《统计学习方法》——kd树python实现

kd树原理之前看KNN时，确实发现这个计算量很大。因此有人提出了kd树算法，其作用是，当你需要求得与预测点最近的K个点时，这个算法可以达到O(logN)的时间复杂度(相当于搜索一颗二叉树的时间耗损).原理有一篇博文讲的十分精彩[这里写链接内容](http://blog.csdn.net/u010551621/article/details/44813299)kd树python实现这里给出的是kd

2017-04-18 23:24:06 2158 5

原创《统计学习方法》——对偶感知器的python实现

对偶感知器原理其原理和原始形式的感知器的原理一样，对偶就是是：实质是一样，只是换了一种实现方式。我们用梯度下降法来更新权值时的公式为：由于太懒，这里用手写给出图片解答对偶感知器的实现为了方便计算Xi*Xj，这里先引入gram矩阵，有G = [Xi * Xj]，其中G为N*N矩阵，N为数据的个数，代码实现如下：先给出伪代码：def gramMaxtrix(x): xMat1 = ma

2017-04-16 22:41:38 768

原创《统计学习方法》——感知器的原理和python实现

感知器原理通俗的解释就是，期望在给定的数据集中，找到一个超平面，这个平面可以正确的分割开所有的数据类别。这里有一个假设，就是这个超平面是一定存在的，就是一定是有解可以把这些数据集完好的分开。这里先不列举数学公式，讲一讲通俗理解：就是先初始化一个超平面，我认为这个超平面是分开了数据集，然后在利用数据集进行验算，如果发现数据集有错误分类的，那么就利用梯度下降算法来纠正这个超平面，使它可以更好的划分。

2017-04-15 11:42:03 1286

转载 L0/L1/L2范数

转至http://blog.csdn.net/shijing_0214/article/details/51757564什么是范数？我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。在数学上，范数包括向量范数和矩阵范数，向量

2017-04-14 16:10:14 975

原创《机器学习实战》学习笔记 --chapter3 决策树

决策树概论决策树主要是利用了二分法思想和信息论中关于信息增益的定义，并利用递归的方式来建立一颗决策树。二分法二分法的主要思想就是分而治之，书上有个例子举得很好，举行一个游戏，参与游戏的一方在脑海里想一个事物，其他参与者来向他提问，回答的答案也只能是对或者错，通过这种方式来不断逼近问题。信息增益这可以说是整个算法的关键之处，定义为： **H(X)=−∑p(x)logp(x)**通

2017-04-14 12:27:46 536

原创《机器学习实战》学习笔记 --chapter2 K-近邻算法

kNN算法概述看完kNN算法，其本质就是找到待预测点和其余已知点的距离，并且对其从小到大进行排序，并且取其前K个点，用这K个点来进行判别。伪代码如下：求得待预测点和已知样本点中的特征值的距离：具体是利用几何中的线性距离来进行判别，即欧几里得距离。按距离递增进行排序选取与当前预测距离最小的K个点确定这K个点所在的类别的概率返回前k个点出现频率最高的类别作为当前点的预测分类用py

2017-04-13 17:34:43 333

原创 python numpy库的初次使用

好吧是第一次使用numpy库，发现和matlab的语法十分相近，有很多的共同之处。今天碰到的一个大的问题就是库的使用方式import numpy与from numpy import *这两者还是有着不少的区别。这两者都是引入numpy库，但是，区别在于使用的方法不一样。第一种是要以numpy.zeros()的方式来调用第二种是泳衣zeros()的方式直接调用

2017-04-12 22:28:47 902

原创 Java —— static 修饰的方法不可以覆盖

class Father{ public static void go() { }}class son extends Father{ public void go() { }}可以看到编译器会发出声明 This instance method cannot override the static method from Father 所以

2017-03-20 14:59:22 1003

原创 JAVA 多线程——线程竞争

下面再来看一个关于线程竞争的例子，记得学过了操作系统课程里对线程的进程做过了一定程度的讲解，但当时对于所谓的同步和互斥方法也并不是很了解。最好的方法还是通过代码来理解class Acount{ public static int money = 100; public static void save(int count) { money += count;

2017-03-20 14:49:01 763

转载 Java——创建进程

关于JAVA多线程的尝试使用多线程：public class Main{ public static void main(String[] args) { MyThread thread1 = new MyThread(); thread1.start(); MyThread thread2 = new MyThread();

2017-03-20 13:33:49 1006 1

一只慢慢爬的小蜗牛