晚照

机器学习–线性回归写在前面Hello, world! 这是我的第一篇技术博客。在接触机器学习的过程中，从来都是百度google很多大神的分享，没有想过会写属于自己的技术博客。如今接触机器学习、深度学习、自然语言处理已经将近两年了， 多多少少有了点自己的想法，所以在这里将自己学习的一点点知识分享出来，希望有路过的同道批评指正，如果能帮助到刚入门的同学，那将是我最大的快乐。 当然，这仅...

ID3上一篇我们说了这个CART，既能处理回归问题，也能处理分类问题。其实像后续的随机森林啊，boosting啊，都是以这个CART为基础的。除了CART之外，还有两种决策树说的比较多，我们这里来看一下.第一个呢就是ID3。ID3和CART 不一样的地方，就是CART用GINI系数来挑选特征，ID3呢用信息增益来挑选特征。 这个其实上篇也谈到了，“信息增益的意思是在得知随机变量X的信息之后，...

并不是为了科普，权当自己的笔记。LSTM遗忘门： f(t)=σ(Wf.[ht−1,xt]+bf)f(t)=σ(Wf.[ht−1,xt]+bf)f(t)=\sigma(W_f.[h_{t-1},x_t] + b_f) 输入门：it=σ(Wi.[ht−1,xt]+bi)it=σ(Wi.[ht−1,xt]+bi)i_t=\sigma(W_i.[h_{t-1},x_t] + b_i) ...

我们说完了感知机，下面就要聊聊支持向量机，可以说它是感知机的进化版本

感知器这一篇我们要来说说感知器。感知器这个算法，可以说有点冷门，它太初级，不管是学术上还是工业界，没人用的。但是我要说，这个算法真的很重要。甚至可以说，它是很多算法的源起。前面所说的逻辑回到跟它有千丝万缕的联系，而且它是SVM和神经的基础。光着一句话告诉大家，真的就是三天三夜都说不完了。 为什么我纠结于这个算法呢？其实这个算法很好说的，它简单。把这个算法模型形式写出来，yyy等等怎样怎样xx...

昨晚写完逻辑回归准备写感知机时，突然想到了两个问题，感知机就停下笔来。第一个问题是：我说了不管是分类还是回归，都是要对p(y|x)p(y|x)p(y|x)进行建模，也说了，线性回归是N(y|wTx,σ)N(y|wTx,σ)N(y|w^Tx,\sigma),逻辑回归是Ber(y|sigm(wTx))Ber(y|sigm(wTx))Ber(y|sigm(w^Tx))。也通过极大似然估计出了模型参数，一...

重新开始我们的机器学习之路！逻辑回归(Logistic Regression)逻辑回归，虽然叫它回归，但是其实它是分类算法，更准确地说叫分类建模方法,(详见我的自然语言处理系列)。我这样说，分类和回归本质上是同一类问题不知道有没有想打我？哈哈。大家会说，怎么可能呢，分类是分类，回归是回归啊，这是常识啊！我这样说是因为，不管是分类问题还是问题，本质上都是要对如下概率进行建模： p(y|x)...

下面开启我们的数算法旅程，我们下面先认识几个概念。熵熵， 我记得第一次接触这个名词应该是在高中化学。里面有提到过这个概念。在信息论中，这是一个很重要的概念，它是对随机变量不确定性的度量。假如说，有一个随机变量，它的概率分布为： P(X=xi)=piP(X=xi)=piP(X=x_i)=p_i 那么这个随机变量的熵就是： H(X)=−∑i−1npilogpiH(X)=−∑i−1np...

上一篇

随机森林是属于集成学习中bagging方法下的一种算法。不扯那么多，随机森林”随机”在两个方面： 1)如果训练集大小为N，对于每棵树而言，随机且有放回地从训练集中的抽取N个训练样本（称为bootstrap sample方法,中文好像翻译作自举），作为该树的训练集； 2)如果每个样本的特征维度为M，指定一个常数m<...