- 博客(32)
- 收藏
- 关注
RSS订阅原创 CRF++学习及总结
CRF++学习及总结CRF++原理训练文件&测试文件格式模板文件CRF++使用使用命令输出内容模型格式文件头标签模板特征函数特征函数权值参考文献CRF++原理训练文件&测试文件格式文件中每一行中的每一列通过空格或者制表符\t分割，每一行为一个token，一个token对应一个词，每行中，除最后一列作为标注外，其他列作为特征。格式如下所示。中 B国 E发 O展 O历 ...
2020-04-12 00:26:35
381
原创 LSTM学习笔记
LSTM学习笔记LSTM简介1.LSTM简介LSTM分析LSTM分析多层LSTM参考文献LSTM简介1.LSTM简介LSTM(Long Short-Term Memory)网络是循环神经网络的一个变体，是一种时间序列循环神经网络，是为了解决简单循环神经网络存在的长期依赖问题而设计的。LSTM分析LSTM分析LSTM结构结构如下图所示。LSTM中的门控机制：LSTM网络引入门控机...
2020-03-14 16:31:35
390
原创 条件随机场详细推导
条件随机场条件随机场简介1.条件随机场简介条件随机场举例2.条件随机场举例条件随机场三个基本问题及推导3.条件随机场三个基本问题及推导参考文献条件随机场简介1.条件随机场简介马尔可夫随机场：设有联合概率分布P(Y)，由无向图G=(V,E)表示，在图G中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布P(Y)满足成对、局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型，...
2020-02-23 23:34:07
736
原创 隐马尔可夫模型详细推导
隐马尔可夫模型详细推导隐马尔可夫模型简介1.隐马尔可夫模型简介隐马尔可夫模型举例2.隐马尔可夫模型举例隐马尔可夫三个基本问题及推导3.隐马尔可夫三个基本问题推导隐马尔可夫模型应用领域4.隐马尔可夫模型应用参考文献隐马尔可夫模型简介1.隐马尔可夫模型简介模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐马尔...
2020-02-23 14:07:14
911
原创 EM算法详细推导
EM算法详细推导EM算法简介1.EM算法简介EM算法推导2.EM算法推导EM算法举例3.EM算法举例EM算法收敛性证明4.EM算法收敛性证明一点小思考5.一点小思考参考文献EM算法简介1.EM算法简介概率模型有时既含有观测变量，又含有隐变量或潜在变量。如果概率模型的变量都是观测变量，那么给定观测数据，直接根据极大似然估计求解模型参数。EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大...
2020-02-23 13:44:00
1151
原创 西瓜书第六章总结
西瓜书第六章总结SVM介绍线性SVM算法的数学建模参考SVM介绍SVM的全称是Support Vector Machine，即支持向量机，主要用于解决模式识别领域中的数据分类问题，属于有监督学习算法的一种.基本思想是找到一个最大间隔超平面。线性SVM算法的数学建模一个最优化问题通常有两个最基本的因素：1）目标函数，也就是你希望什么东西的什么指标达到最好；2）优化对象，你期望通过改变...
2019-05-30 12:47:07
263
原创 西瓜书第四章总结
西瓜书第四章总结1.树的划分流程2. 树的划分选择3.如何对抗过拟合4.如何处理连续值与缺失值CART分类树与回归树原理参考1.树的划分流程2. 树的划分选择树的划分选择也即如何选择最优划分属性常用三种划分规则：信息增益、信息增益率、基尼指数ID3：采用信息增益划分数据，计算获得所有特征中信息增益最大的特征，用于划分数据集。不过信息增益准则对可取值数目较多的属性有所偏好C4.5：为了...
2019-05-23 20:32:44
349
原创 西瓜书第一章总结
西瓜书第一章总结1.版本空间2.没有免费的午餐定理参考文献1.版本空间在对假设空间进行搜索的过程中，不断的删除与正例不一致的假设以及与反例一致的假设，最终会获得与训练集一致的假设，由于现实问题中常常面临很大的假设空间，而学习过程是基于有限样本训练集进行的，所以可能会有多个假设和训练集一致，该多个假设组成的假设集合称为版本空间。2.没有免费的午餐定理对于一个学习算法λa，若它在某些问题上...
2019-05-12 14:23:31
548
原创 GBDT算法梳理
GBDT算法梳理前向分步算法负梯度拟合损失函数回归二分类、多分类正则化优缺点sklearn参数应用场景参考前向分步算法考虑加法模型其中，b(x,γm)为基函数，γm为基函数的参数，βm为基函数的系数。在给定训练数据及损失函数L(y,f(x))的条件下，学习加法模型f(x)成为经验风险极小化即损失函数极小化问题：通常这是一个复杂的优化问题。前向分步算法求解这一优化问题的想法是：因为学习的...
2019-04-06 21:55:56
729
原创 随机森林算法梳理
文章目录集成学习的概念个体学习器的概念boosting和bagging结合策略（平均法，投票法，学习法）随机森林思想随机森林的推广优缺点sklearn参数应用场景集成学习的概念集成学习通过构建并结合多个学习器来完成学习任务。即先产生一组个体学习器，再用某种策略将它们结合起来。集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。根据个体学习器的生成方式，目前集成学习方法...
2019-04-04 13:30:17
269
原创 Adaboost算法详细推导
文章目录Boosting概念Adaboost介绍及推导Boosting概念Boosting是一族可将弱学习器提升为强学习器的算法。其工作机制类似于：先从初始数据集中训练出一个基学习器，再根据基学习器的表现对样本的分布进行调整，使得先前基学习器做错的样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器；如此反复进行，直到基学习器的数目达到事先指定的值T，最终将这些基学习器进行...
2019-03-31 15:20:23
961
原创 决策树算法
文章目录1.信息论基础2.决策树的不同分类算法（ID3算法，C4.5,CART分类树）的原理及应用场景3.回归树原理4.决策树防止过拟合手段5.模型评估sklearn参数详解，Python绘制决策树1.信息论基础1)熵：在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里，消息代表来自分布或数据流中的事件、样本或特征。来自信源的另一个特征是样本的概率...
2019-03-05 21:04:46
319
原创 逻辑回归算法梳理
逻辑回归算法梳理逻辑回归的原理逻辑回归与线性回归的区别与联系逻辑回归损失函数的推导及优化正则化与模型评估指标逻辑回归优缺点样本不均衡问题解决办法sklearn参数逻辑回归的原理当我们希望线性模型的预测值逼近真实标记时，就得到了线性回归模型，而当我们使用线性模型去逼近真实标记的衍生物时，比如我们认为真实标记是在指数尺度上的变化，那么我们可以将输出标记的对数作为线性模型要逼近的目标，即，变换...
2019-03-02 15:50:46
240
原创 线性回归算法梳理
这里写自定义目录标题机器学习的一些概念有监督学习无监督学习泛化能力过拟合和欠拟合方差和偏差线性回归的原理线性回归损失函数、代价函数、目标函数优化方法线性回归的评估指标sklearn参数详解机器学习的一些概念根据训练数据是否拥有标记信息，学习任务可大致分为两大类：有监督学习和无监督学习。有监督学习有监督学习：从标签化训练数据集中推断出函数的机器学习任务。无监督学习无监督学习：根据类...
2019-03-01 13:12:33
213
原创 梯度上升法求解Logistic回归
对率函数hθ=1/1+e^-zz=β^T(x;1)P{yi|xi;θ} = (P{yi=1|xi}^yi)*(P{yi=0|xi}*(1-yi))极大似然函数为πP{yi|xi;θ}=π(P{yi=1|xi}^yi)*(P{yi=0|xi}*(1-yi))假定P{yi=1|xi}=hθ(xi)，则p{yi=0|xi}=1-hθ(xi)则πP{yi|xi;θ}=π(P{yi=1|xi}^yi)*(P...
2018-07-03 21:41:27
309
转载 类加载器的工作原理
原文链接： Javarevisited 翻译： ImportNew.com - 唐小娟译文链接： http://www.importnew.com/6581.htmlJava类加载器的作用就是在运行时加载类。Java类加载器基于三个机制：委托、可见性和单一性。委托机制是指将加载一个类的请求交给父类加载器，如果这个父类加载器不能够找到或者加载这个类，那么再加载它。可见性的原理是子类的
2017-12-17 17:30:36
156
原创 汉诺塔
汉诺塔思路 当n == 1时直接将a座上的盘子移到b座上. 当n > 1时 1) 将前n-1个盘子借助b座移到c座上. 2) 将a座上的第n个盘子移到b座上. 3) 将c座上的盘子移到b座上. 实现如下：public class Hanoi { public static void move(int a, int b){ System.out.println(
2017-09-04 15:45:06
195
原创 猴子吃桃
小猴子第一天摘下若干桃子,当即吃掉一半,又多吃一个.第二天早上又将剩下的桃子吃一半,又多吃一个.以后每天早上吃前一天剩下的一半另一个.到第10天早上猴子想再吃时发现只剩下一个桃子了问第一天猴子共摘多少个桃子？找出递推式 前一天总数为n，当天总数为sum，则 n-(n/2+1) = sum 即 n=2*(sum+1)，实现如下：public class Peach { static int
2017-09-04 12:17:48
305
原创 从n个数中选出m个数，结果按照字典序排列
数的组合问题，从n个数中选出m个数，结果按照字典序排列数的组合问题。从1,2,…,n中取出m个数，将所有组合按照字典顺序列出。如n=3,m=2时，输出：12 13 23 思想：每个数的选择都有可能，比如选择两个数，假设第一个选择的是第i(i从0开始)个数，则剩下的就从i+1到length-1中选择。 实现如下：import java.util.LinkedHashSet;public cla
2017-09-04 01:18:37
5977
1
原创 求一个整数数组的最大元素，用递归方法实现
求一个整数数组的最大元素，用递归方法实现思想 例如2,1,3,5,4 将数组中第一个元素A和剩下的数中的第一个数B进行比较，如果A大于B将A与B交换，然后求 A，3，5，4中的最大值。否则，求B,3,5,4中的最大值。实现如下：public class MaxInArray { public static void Max(int[] a){ if(a.length =
2017-09-04 00:00:55
1119
转载 ReentrantLock的lock-unlock流程详解
转载自：http://blog.csdn.NET/luonanqin这篇博客对Lock锁的实现过程讲解的很细致。虽然过程看明白了，不过，还得经常琢磨琢磨。最近一段时间在研究jdk里的concurrent包，分为了线程管理，锁操作以及原子操作三个部分。线程管理平时用得还算多，但是锁操作和原子操作基本就没用过，只是以前在大学的时候跑了几个例子玩玩。当看到ReentrantLoc
2017-08-20 18:33:44
456
转载 深入JVM锁机制2-Lock
转自：http://blog.csdn.net/chen77716/article/details/6641477前文（深入JVM锁机制-synchronized）分析了JVM中的synchronized实现，本文继续分析JVM中的另一种锁Lock的实现。与synchronized不同的是，Lock完全用Java写成，在java这个层面是无关JVM实现的。在
2017-08-20 18:28:02
139
原创 0-1背包问题
问题描述有n个物品，第i个物品价值为vi，重量为wi，其中vi和wi均为非负数，背包的容量为W，W为非负数。现需要考虑如何选择装入背包的物品，使装入背包的物品总价值最大。
2017-08-15 18:45:13
404
原创 KMP算法实现
分析KMP算法是一种改进的字符串匹配算法，KMP算法的关键是利用匹配失败后的信息，尽量减少模式串与主串的匹配次数以达到快速匹配的目的。最核心的地方就是找到模式串中当前字符的最大k前缀，需要借助next数组保存，假设模式串长度为M,文本串长度为N，则KMP算法的时间复杂度为O(M+N),空间复杂度为O(M)。实现如下：public class KMPDemo { public static
2017-08-02 13:21:23
352
原创 检查链表是否为回文
请编写一个函数，检查链表是否为回文。 给定一个链表ListNode* pHead，请返回一个bool，代表链表是否为回文。 算法实现如下：
2017-07-14 16:58:45
720
原创 翻转子串
假定我们都知道非常高效的算法来检查一个单词是否为其他字符串的子串。请将这个算法编写成一个函数，给定两个字符串s1和s2，请编写代码检查s2是否为s1旋转而成，要求只能调用一次检查子串的函数。 给定两个字符串s1,s2,请返回bool值代表s2是否由s1旋转而成。字符串中字符为英文字母和空格，区分大小写 比如 “waterbottle”,”erbottlewat” 返回：true 这里涉及一
2017-07-14 12:06:04
241
转载 为什么匿名内部类参数必须为final类型
转载自http://feiyeguohai.iteye.com/blog/15001081) 从程序设计语言的理论上:局部内部类(即:定义在方法中的内部类),由于本身就是在方法内部(可出现在形式参数定义处或者方法体处),因而访问方法中的局部变量(形式参数或局部变量)是天经地义的.是很自然的2) 为什么JAVA中要加上一条限制:只能访问final型的局部变量?3)
2017-03-23 21:44:29
183
原创 Java内部类
内部类，顾名思义，将一个类的定义放在另一个类的定义内部。内部类看起来像是一种代码隐藏机制，将类置于其他类的内部，但是，内部类远不止于此，它了解外围类，并能与之通信。内部类分为：成员内部类，局部内部类，匿名内部类，静态内部类当生成一个内部类的对象时，此对象与制造它的外围对象之间就有了一种联系，所以它能访问其外围对象的所有成员。原因是当某个外围类的对象创建了一个内部类对象时，此内部类对象必定会
2017-03-23 20:54:05
306
转载 Java类加载过程浅析
转载自http://blog.csdn.net/u013634928/article/details/51393363一、什么时候会加载类？使用到类中的内容时加载：有三种情况1.创建对象：new StaticCode();2.使用类中的静态成员：StaticCode.num=9; StaticCode.show();3.在命令行中运行：Java StaticCodeDemo
2017-03-23 20:50:17
287
原创 Java内存分布和各部分含义
Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域：方法区、虚拟机栈、本地方法栈、堆、程序计数器1.程序计数器程序计数器是一块较小的内存空间，它可以看做是当前线程所执行的字节码的行号指示器。在虚拟机的概念模型中，字节码解释器工作时就是通过改变这个计数器的值来选取吓一条需要执行的字节码指令。分支、循环、跳转、异常处理、线程恢复等基础功能都需要依赖这个计数器来
2017-03-21 17:51:45
338
转载 HashMap和Hashtable的区别
HashMap和Hashtable的区别是我们经常碰到的一个问题。了解其实现原理和区别能帮我们更好的使用它们。HashMap和Hashtable都实现了Map接口，但其实现方式不同。区别：1.HashMap是线程不安全的，Hashtable是线程安全的2.因为HashMap是非synchronized的，故其效率要比Hashtable高。3.HashMap的迭代器是fail-fas
2017-03-18 21:17:43
304
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人