luchi007的专栏

原创 Micheal Nielsen's神经网络学习之三：过拟合与规范化

依然是Michael Nielsen的书，依然是神经网络，上文说到的是神经网络有关于损失函数的调整使得学习速度加快，但是还是有几个问题没有解决： 过拟合问题权重和b初始化问题一，首先来看第一个问题：过拟合（overfitting）什么是overfitting，我这个人不是典型的学院派，所以正儿八经的定义也不会用，用我的话说就是学习过度，主要表现在两个方面：第一，在现

Micheal Nielsen's神经网络学习之三：过拟合与规范化

依然是Michael Nielsen的书，依然是神经网络，上文说到的是神经网络有关于损失函数的调整使得学习速度加快，但是还是有几个问题没有解决： 过拟合问题权重和b初始化问题一，首先来看第一个问题：过拟合（overfitting）什么是overfitting，我这个人不是典型的学院派，所以正儿八经的定义也不会用，用我的话说就是学习过度，主要表现在两个方面：第一，在现有的...

Micheal Nielsen's神经网络学习之三：过拟合与规范化

Micheal Nielsen's神经网络学习之二

依然是跟着Michael Nielsen的神经网络学习，基于前一篇的学习，已经大概明白了神经网络的基本结构和BP算法，也能通过神经网络训练数字识别功能，之后我试验了一下使用神经网络训练之前的文本分类，只是简单的使用了词频来作为词向量处理过程，没有任何的其他调参过程，对于八分类，其正确率到了84%，相比于之前各种调参才能勉强达到72%的SVM分类方法而言，神经网络有无可比拟的简单和高正确率。好了...

Micheal Nielsen's神经网络学习之二

原创 Micheal Nielsen's神经网络学习之二

依然是跟着Michael Nielsen的神经网络学习，基于前一篇的学习，已经大概明白了神经网络的基本结构和BP算法，也能通过神经网络训练数字识别功能，之后我试验了一下使用神经网络训练之前的文本分类，只是简单的使用了词频来作为词向量处理过程，没有任何的其他调参过程，对于八分类，其正确率到了84%，相比于之前各种调参才能勉强达到72%的SVM分类方法而言，神经网络有无可比拟的简单和高正确率。好了，安利

原创 隐马尔科夫模型(HMM)浅见

隐马尔科夫模型，Hidden Marcov Model，是可用于标注问题的统计学习模型，描述由隐藏的马尔科夫链随机生成观测序列的过程，属于生成模型，是一种比较重要的机器学习方法，在语音识别等领域有重要的应用。 本文不打算使用书面的一大堆公式来说明，本人对公式无感，能用例子说明的根本不想碰公式，不知道是不是霍金说过，多加一条公式就会损失一大片读者。PS：不管有没有说过了，是这个意思，what

原创 Michael Nielsen 's 神经网络学习之一

最近看到了一个比较好的神经网络和深度学习的网站，http://neuralnetworksanddeeplearning.com/，其实也不算是网站，算是Michael Nielsen的书籍电子版，写的算是比较生动简介，我这部分系列的文章算是一个跟书笔记，也算是半吊子翻译和代码注释工，恩，背景介绍到这里（大神直接看原文就行了，可以不用看后面的渣文了）。 没接触神经网络之前，我觉得神经网络非

原创 LIBSVM学习——文本分类

最近期末事儿比较多，没什么大东西，最近在使用libsvm做文本分类，虽然感受到了LIBSVM的便捷之处，但是也感受到了Libsvm的调参的复杂性，写下来Mark一下 文本分类，使用的是路透社的语料最为训练和测试数据集，原始的语料有91类大概十几万篇文章，由于以一些类的数量太少（本次实验室将一个类别下的文本数量少于100篇的过滤）而不具备训练价值（对于有监督的学习而言），最后我们得到的是8个

原创 遗传算法使用Java实现

最近需要学习神经网络，对于神经网络问题的求解其中需要用到遗传算法，所以今天学习了一下遗传算法，主要参看了 http://blog.csdn.net/emiyasstar__/article/details/6938608这篇博客的文章，同时将其使用C++实现的程序用Java再次实现了一遍，不足之处还请指出多包涵 遗传算法：也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程

原创 EM算法与高斯混合分布

作为机器学习的十大算法之一，EM算法可谓是风头出尽，尤其是EM算法在聚类等方面的优越表现，让EM算法备受瞩目，这个星期对EM算法进行了一番了解，说实话EM算法光从教科书上的那些公式说导我觉得很难理解，在七月算法的一节关于EM算法的公开课上慢慢的对EM算法有了算是入门的了解，今天就来说说EM算法与其典型的应用：高斯混合分布 首先简略介绍一个高斯混合分布： 在一个随机分布里面，可能存在

原创 SVM实战之垃圾邮件过滤

SVM作为机器学习里面的经典算法在实际中一直被广泛采用，而且其准确性也是非常之高，特别是在引入了核函数之后对识别性能变得非常高。说明：本文不打算就SVM原理就深入分析，虽然对其原理略懂一二，但是对于SMO算法的理解确实比较浅，所以也不打算班门弄斧，略微介绍，本文重点在于SVM的应用，也就是对垃圾邮件的文本分类 关于支持向量机的原理性分析在CSDN上有July大神的博客 ：http://

原创 Android环境下安装openCV

今天因为课题的关系需要在安卓上安装openCVC环境，但是参考网上很多教程都不够齐全，下面主要参考了一下两个教程进行配置，两个教程各有互补，然后对我的整个安装过程做个说明 这篇文章完全参考自一下参考链接：比较全的安装：http://blog.csdn.net/pwh0996/article/details/8957764/NDK安装：http://jingyan.baidu.com

原创 层次遍历二叉树的变种

还是回归到ITEYE，之前想用CSDN的，但是受不了那个的响应速度，估计是太多的访问量了，好，废话少说，今天记录一下一朋友面试时候遇到的问题 问题描述如图： 具体说明：现在有一颗二叉树，如图中红线所示，现在需要将该二叉树按照黑色箭头的方式遍历题目描述很简单，也算是一个层次遍历的变种问题，我们知道，在层次遍历里面使用的是队列保存其子节点，但是在这道题里面显然是不能够的，因为访问的方向

原创 内部排序(一)

最近在实验室恰逢师兄师姐们的校招季，会有很多面试笔试题考一些基本的算法，其中较为常用的就是排序算法，当然这里指的仅仅是内部排序，处于复习的目的，回顾了一下在大二时候学习的一些排序方法，算是一个记录 内部排序大概来说有10种，分别是，选择排序，冒泡排序，插入排序，归并排序，冒泡排序，基数排序，堆排序，桶排序，计数排序，布尔排序，今天主要说一说最常用的前面五种算法，也是面试或者笔试中较为常用的

原创 判断一个数组是不是排序二叉树后序遍历

碰到一个题目，判断一个数组是不是排序二叉树的后序遍历，所谓排序二叉树，指的是对于二叉树中的根节点比左子节点数值大，同时比右子节点数值小，例如[5,7,6,9,11,10,8] 就是一个排序二叉树的后序遍历，而[7,10，8,9]则不是 解题思维：既然是后序遍历，则数组最后一个数值肯定是根节点，而从左到右，剩下数组元素的左侧值肯定小于根节点值，而其余的数组元素则大于根节点，例如[5,7,

原创 机器学习初识之Kmeans浅尝

机器学习在图像识别方面具有很好的效果，今天在网易云课堂黑板可老师视频中学习了一下Kmeans算法，是一种非监督类学习算法，具体步骤如下 1，选取K个点作为初始中心2，将每个点最近的中心，形成K个簇3，重新计算每个簇的中心4，如果簇中心发生明显的变化或者未达到最大迭代次数，则返回到第二部  如上图，有很多点，需要将这些点分成类簇，我们的方法是 1，先随机选择三

原创 机器学习初识之KNN算法

刚刚开始在一个视频上学习机器学习，不懂的还是很多，这也算作是学习机器学习的笔记吧KNN算法，K nearest neighbor 最近的K个邻居，了解一个算法，先从了解一个问题开始，现在问题如下，有很多的数字图片，每个图片上面有一个数字，每个图片是28*28像素的的，灰度值从0~255，我们把每个图片看作是一个1X784的一行矩阵，因为784=28*28，矩阵上的数字大小表示该像素点的灰度值，

原创 python新手笔记之python高级函数编程

python是一种非常强强大的脚本语言，不仅在于编程简洁，而且借鉴了很多其他语言的精妙之处，开始学python的时候听说python是对于编程初学者而言最好的语言，我现在觉得这句话一点也不意外，python确实做到了精简与强大并存，话不多说，整理一下python的超级强大的高级函数 1，reduce——递归编程的利器 问题入门：我们现在需要计算一下N的阶乘，能够想到的方法自然是递归，当

原创 python新手笔记之包和模块的引入

python提供了和java类似的包和模块的引用，目的也是为了提高代码的复用性，这里主要总结一下包和模块的引入问题 python的包和模块引入和Java遵循类似的规则，在PYTHONPATH指定的路径找，1，引入系统模块在python中，python的系统模块可以直接引用，因为在装python环境的时候已经指定了相对应的路径，如引用 :import string2,引入自定

原创 Python新手笔记之python迭代器遍历列表

Python的迭代器使用起来很方便，也比较实用，今天看一下几种Python迭代器的使用方法方法第一种：list=["hello","world","china"]it=iter(list)while True: try: m=next(it) print(m) except StopIteration: br

原创 python新手笔记之python继承

今天学习了一下python的基础面向对象知识，在继承中发现了一些有趣的问题和方法，做个笔记mark一下首先看一段简单的继承代码class my_class: def __init__(self): print "new object" self.name="myclass" def setName(self,name):

原创 简单的Java读取xml文件

最近有一个任务是将项目中的一些资源代码转化成是可配置的，因此，心里想到了使用XML文件来配置，虽然最后使用了properties来配置，但是突然想自己读取一把xml文件，并且不借助jdom之类的jar包来解析  想到xml配置文件是一个循环结构，因此最开始想使用递归方法，但是到后来觉得递归找子项不太好找（不想记录尖括号位置那种写法），后来觉得用数据结构里面建立树的写法来建立"xml 树

原创 ForkAndJoin实践

Java的并发编程模型中，有个Fork-Join框架，目的是将大的任务分解成小的任务进行计算，然后再把每个小任务的计算结果汇总。Fork / Join 框架提供了两个可供继承的子类1，RecursiveAction 用以分解没有计算结果的任务2，RecursiveTask    用以分解有计算结果的任务 接下来计算一个1加到100的程序，体会一下Fork/Join框架的使用

原创 Integer与int的种种比较你知道多少？——转自博客园

原文地址：http://www.cnblogs.com/liuling/archive/2013/05/05/intAndInteger.html  如果面试官问Integer与int的区别：估计大多数人只会说道两点，Ingeter是int的包装类，int的初值为0，Ingeter的初值为null。但是如果面试官再问一下Integer i = 1;int ii = 1; i==ii为tru

原创 模拟浏览器访问增加页面浏览数量

因为刚开始开博客并没有什么浏览量，所以心中一时想着怎么变成增加自己的浏览量，于是参考了网上的例子写了个程序，主要是用java访问指定的网页，当然只是一时兴起，没有恶意。我开始只是采用简单的URL访问页面，但是一般网站会对这种纯爬虫或者类爬虫程序拒绝，我就是一开始被拒绝了，并被网站警告 ，因此，需要模拟浏览器访问才行，浏览器访问使用的HTTP协议，可以在程序中加入这个请求报头，至于报头内容，谷歌

原创 java 并发编程之同步器

在讨论Java的锁的时候，有一个概念很重要，那就是同步器，同步器可以想象成一种互斥量，当一个线程在进入临界区之前先要获得互斥量，同样，在线程获得同步状态之前也是需要获取到同步器。今天看到《java并发编程的艺术》第五章的时候觉得蛮有收获，所以这一篇算是整理下看书思路。 首先，我们来看一下Lock的接口 public interface Lock { void lock

原创 从notify-wait模式说去

在java的并发编程之中，有几个比较重要的模式，其中notify-wait的模式显得很重要，因为他是经典的生产者-消费者模式实现的基础，而在生产者-消费者模式上，又可以演变出很多的设计方法，比如java的线程池就是典型的生产者消费者模式，今天就来说一下notify-wait首先说一下wait在notify之后的的执行逻辑        在Java对象中，有两种池        琐池--

原创 笔试题小解

最近碰到一个笔试题，大意是从给定的无序数组中选取几个数字使其和为给定的数字，下面以一个数组长为10的整型数组为例，选出其中四个数字之和为10。        算法使用C++编写，因为来的比较快，Java表达算法不是很给力感觉，代码如下       #include#define total 4 //所需要选取出来的个数 #define arrayLength 10 //数

原创 java并发编程学习笔记之线程池等源码小析

在java并发编程中，线程池是一个比较重要的点，什么时候需要使用线程池，什么时候不需要使用线程池，看不同的需求，众所周知，新增一个线程是比较耗资源的，因此如果每次新增一个任务就添加一个线程，在分时系统中，这不仅会造成每个线程所获得的执行时间大大降低，同时也会使cpu和内存大大消耗，线程池是一种比较合适的处理办法，一方面缓解资源紧张，一方面又能获得不错的性能，但是，对于批处理作业和耗费资源不是很多的

原创 java模式之观察者模式

所谓观察者模式指的是一对多的关系的模式，可以用消息发布来作为比喻，发布者对应多个接受者，接受者可以注册或者删除订阅       最典型的观察者模式应用的是Java的Swing时间监听事件，每个listener注册到事件处理的Handler中，当事件源发生的时候，将遍历（广播）消息到所有的Listener中执行相应的方法，如actionPerform()中；         下面简单介绍一下

原创 java并发编程学习笔记2

thread的生命周期              package java.lang;public class Thread implements Runnable { public void start(); public void run(); public void stop();

原创 java并发编程学习笔记1

synchronized关键字             synchronized关键字是Java中比较常用的同步方法，使用简单方便，不用用户自己设置锁的类别，synchronized可用于method，也可以用于某一块的代码，称之为同步代码块 volatile关键字             volatile关键字常用于标记位，当一个变量使用volatile的时候，表示

原创 java模式之装饰者模式

装饰者模式在java的设计模式中属于比较重要和常见的模式，在java的IO设计就设计到很多的装饰者模式。从最简单的装饰者模式开始说起。         首先定义一个接口Base         package com.luchi.model.wrapper;public interface Base { public void doThings1();

原创 Java模式之单例模式

单例模式指的是该类或者该方法某个部分只是初始化或者执行一次，因为Java中很多的对象需要分配资源，因此尽可能的将相同的对象只是一次初始化之后统一使用比较明显的应用就是单例类，单例类只是初始化一次类获取类的实例即可，常用如下上面使用同步是为了防止被多次初始化。另外，在单例模式的应用中，有一种方式是双重检验，但是这个在多线程下还是容易多次执行，没有达到目的，因此，这里需要指出这种模式，

原创 将博客搬至CSDN

隐马尔科夫模型(HMM)浅见

隐马尔科夫模型，Hidden Marcov Model，是可用于标注问题的统计学习模型，描述由隐藏的马尔科夫链随机生成观测序列的过程，属于生成模型，是一种比较重要的机器学习方法，在语音识别等领域有重要的应用。 本文不打算使用书面的一大堆公式来说明，本人对公式无感，能用例子说明的根本不想碰公式，不知道是不是霍金说过，多加一条公式就会损失一大片读者。PS：不管有没有说过了，是这个意思，wh...

隐马尔科夫模型(HMM)浅见

Michael Nielsen 's 神经网络学习之一

最近看到了一个比较好的神经网络和深度学习的网站，http://neuralnetworksanddeeplearning.com/，其实也不算是网站，算是Michael Nielsen的书籍电子版，写的算是比较生动简介，我这部分系列的文章算是一个跟书笔记，也算是半吊子翻译和代码注释工，恩，背景介绍到这里（大神直接看原文就行了，可以不用看后面的渣文了）。 没接触神经网络之前，我觉得神经网...

Michael Nielsen 's 神经网络学习之一