2018年04月_生一先生

11月 10月 07月 06月 05月 04月 03月

转载中文分词之HMM模型详解

关于HMM模型的介绍，网上的资料已经烂大街，但是大部分都是在背书背公式，本文在此针对HMM模型在中文分词中的应用，讲讲实现原理。尽可能的撇开公式，撇开推导。结合实际开源代码作为例子，争取做到雅俗共赏，童叟无欺。没有公式，就没有伤害。HMM(Hidden Markov Model): 隐式马尔科夫模型。HMM模型可以应用在很多领域，所以它的模型参数描述一般都比较抽象，以下篇幅针对HMM的模型参数介绍...

2018-04-27 14:18:50 481

原创 Usage of API documented as @since 1.7+ less... (Ctrl+F1) This inspection finds all usages of method

程序中出现了这样的错误，查看依赖，没有缺少，单独引用也没有问题，但是最后一段代码在idea中就是错误，后来发现是打包编译设置的问题，在maven中加入了一段build代码就可以了。<build> <plugins> <plugin> <groupId>org.apache.maven.plugins&l...

2018-04-23 14:31:48 2280

原创我对于准确率---p值，召回率R值以及F值的理解

再互联网广告的推荐系统和反作弊的实践中经常遇到准确率，召回率，F值几个东西，刚入行的时候，我经常搞混，直到后来我逐渐明白了。举个列子！我们用一个模型去判断一段时间的作弊流量，假设该段时间的流量是100个，作弊的是25个，没有作弊的是75个，假设这里正样本为没有作弊的流量。然后我们用lstm模型去预测，结果是70个没有作弊的，但是经检查，我们把其中69个正样本预测为没有作弊，把1个负样本预测为没有作...

2018-04-11 16:17:00 4612

原创高效的大数据开发环境搭建及实战

内容大纲：一、开发环境准备1. IDE开发工具选择及安装2. Java SDK版本选择及安装3. Spark开发语言版本选择及安装4. 下载Spark的安装程序5. 安装Maven6. 安装sbt7. IDE的插件选择、安装及配置二、从零开始创建第一个Spark程序－ HelloSpark1. 创建Scala工程2. 添加Spark依赖的jar包3. 修改工程pom文件，并更新依赖包4....

2018-04-05 17:03:44 8641

原创医疗，医药人工智能需要知道的几件事情

人工智能蓬勃发展，对各行各业都产生了影响，那么人工智能对医疗保健行业的影响会是怎么样的呢。我结合freshbenies首席战略官的文章，并加入自己的理解，联系国内的实际情况谈谈人工智能对医疗保健行业的发展。一机器学习（包括深度学习）和人工智能是有区别的机器学习使用人工智能算法来处理大量的数据，并允许机器自己学习。如电子邮箱中的垃圾邮件分类，而机器学习在医疗行业的应用主要局限于医疗影像行业。如CT影...

2018-04-03 11:25:57 1445

原创 AdaBoost算法的简单例子

Bootstrapping算法主要思路：i)重复地从一个样本集合D中采样n个样本ii)针对每次采样的子样本集，进行统计学习，获得假设Hiiii)将若干个假设进行组合，形成最终的假设Hfinaliv)将最终的假设用于具体的分类任务(2)Bagging算法主要思路：i)训练分类器从整体样本集合中，抽样n* < N个样本针对抽样的集合训练分类器Ciii)分类器进行投票，最终的结果是分类器投票的优...

2018-04-02 19:03:19 1093

原创 LSTM的神经网络keras实现

加载keras模块from keras.models import Sequentialfrom keras.layers import LSTM, Densefrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras import initializationsdef init_weights(...

2018-04-02 18:47:51 2431

原创搭建sparkmllib开发环境的一些坑-----

sparkmlib是spark用于机器学习开发的包，实现了在分布式的大数据集群上做机器学习的功能，是目前对分布式支持较好的机器学习框架，除此之外支持分布式的机器学习框架还有tensorflow和deeplearning4j,但sparkmllib天生和hadoop无缝结合，不过sparkmllib的短板是无法支持深度学习，而tensorflow和deeplearning是支持深度学习的。好了废话不...

2018-04-02 18:44:50 5527 3

翻译从HashMap到ConcurrentHashMap

一：什么是HashMap众所周知，HashMap是一个用于存储Key-Value键值对的集合，每一个键值对也叫做Entry。这些个键值对（Entry）分散存储在一个数组当中，这个数组就是HashMap的主干。HashMap数组每一个元素的初始值都是Null。对于HashMap，我们最常使用的是两个方法：Get 和 Put。1.Put方法的原理调用Put方法的时候发生了什么呢？比如调用 hashM...

2018-04-02 15:56:15 814