2017年04月_哈乐笑

原创【机器学习】Kernel Logestic Regression 和Kernel SVM

之前一篇文章【机器学习】Linear SVM 和 LR 的联系和区别讲了线性SVM和常规LR的关系和优缺点。结果今天想研究一下Kernel logistic regression（以下简称KLR），结果发现相关的中文资料几乎没有啊， SVMww是xix_i的线性组合是使用Kernel的关键所在。比如SVM，其最佳ww来源于xix_i的线性组合 w∗=∑i=1n(αiyi)xiw^* = \s

2017-04-26 22:14:50 2192 2

原创【算法】2SUM/3SUM/4SUM问题

之前就总结过一些Leetcode上各种sum问题，今天再拿出来完整得总结一番。 nSUM问题是指，在一个数组中，找出n个数相加和等于给定的数，这个叫做nSUM问题。常见的有2SUM，3SUM，4SUM问题，还有各种SUM问题的变种. Leetcode上SUM问题包括： 1. 2SUM 15. 3Sum 16. 3Sum Closest 18.

2017-04-26 01:21:50 23877 1

写这篇是因为看到国外一篇讲的巨好的关于A*算法的文章——Introduction to A*。图文并茂，而且讲了一些A*算法的来龙去脉，有些观点也醍醐灌顶啊，所以赶紧来总结一下。A*算法为什么叫这个名这个从wiki上看来的，一开始是57年提出的Dijkstra算法，然后64年Nils Nilsson提出了A1算法，是一个启发式搜索算法，而后又被改进成为A2算法，直到68年，被Peter E. Ha

2017-04-20 22:22:42 15040 2

原创【机器学习】贝叶斯角度看L1，L2正则化

之前总结过不同正则化方法的关系【不过那篇文章被吞了】当时看的资料里面提到了一句话就是：正则化等价于对模型参数引入先验分布，而L1正则化相当于参数中引入拉普拉斯分布先验，而L2分布则相当于引入了高斯分布先验。当时这这句话不是很理解，今天又找了一下相关的资料研究了一下。贝叶斯学派和频率学派要解释上面的问题，需要先区别一下贝叶斯学派和频率学派的区别。本质上频率学派和贝叶斯学派最大的差别其实产生于对

2017-04-19 21:42:53 9918 3

原创【机器学习】生成模型和判别模型

上篇文章提到了Linear SVM 和 LR 的联系和区别，提到了它们都是判别模型。但是什么是判别模型呢，与其相对应的生成模型又有哪些呢。本文来总结一下。以下部分主要参考了李航那本《统计学习方法》判别模型和生成模型都是指监督学习下的模型，监督学习模型本质上就是求决策函数： Y=F(X)Y=F(X) 或者条件概率分布： P(Y|X)P(Y|X) 而求解过程又可以分为判别方法和生成方法生成模型

2017-04-18 01:24:05 4139 2

原创【机器学习】Linear SVM 和 LR 的联系和区别

今天看到别人问这个问题，突然想到自己也对这两个经典的线性分类器没有太过区别其异同，所以特此翻阅了一下资料总结了一番。以下理论部分主要参考了LR与SVM的异同这篇文章LR和Linear SVM的相同点都是监督的分类算法都是线性分类方法另外这里需要说的就是LR也是可以加核函数的至于为什么不用，是原因的，后面再说。都是判别模型判别模型和生成模型是两个相对应的模型。判别模型是直接生成一个

2017-04-16 03:05:11 14113 1

原创【算法】O(1)空间，不改变原数组的情况下找第K大的数

找到无序数组中第K大的数，这道题蜜汁经典，腾讯和头条的面试中都被问到了，我一般用的都是大小为K的小顶堆和快排扫一半这两种思路做这道题，直到前几天面试头条的时候，终面面试官问，有没有O(1)O(1)空间【严格的O(1)O(1)空间，即不能用递归】且不改变原数组的情况下，找第K大的数。当场没有想起来，下来之后突然就想到了。所以特此来总结一下。找数组第K大的数，Leetcode上有一道原题： 215

2017-04-15 16:35:48 2794 1

原创【机器学习】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）

首先先强烈推荐一篇外文博客Visual Information Theory这个博客的博主colah是个著名的计算机知识科普达人，之前非常著名的那篇LSTM讲解的文章也是他写的。这篇文章详细讲解了信息论中许多基本概念的来龙去脉，而且非常的直观用了大量的图片，和形象化的解释。信息量信息量用一个信息所需要的编码长度来定义,而一个信息的编码长度跟其出现的概率呈负相关,因为一个短编码的代价也是巨大的,因为

2017-04-12 15:20:34 27266 15

原创【算法】Trie数（前缀树/字典树）简介及Leetcode上关于前缀树的题

前几天同学面今日头条被问到了Trie树，刚好我也对于Trie树这种数据结构不是很熟悉，所以研究了一下前缀树，然后把Leetcode上关于前缀树的题都给做了一遍。Leetcode上关于前缀树的题有如下：208. Implement Trie (Prefix Tree)这道题是实现一个前缀树，作为基础题啦Add and Search Word - Data structure design这道题是

2017-04-04 22:29:47 7983

haolexiao的专栏