![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 89
水言车
数据挖掘,网页开发,机器学习,嵌入式
展开
-
Apriori算法
Apriori算法第一次写博客,看这个算法的目的是为毕设开题做准备,以及以后的复习所做的笔记。Apriori属于无监督学习,对数据关联规矩进行挖掘的算法。 关联规则是形如X⇒\RightarrowY的蕴含式,其中X,Y分别是I的真子集,并且X∪\cupY=∅\emptyset。X称为规则的前提,Y规则的结果。关联规则翻译X中项目出现时,Y中的项目也跟着出现的规律。原创 2016-11-24 21:43:11 · 753 阅读 · 0 评论 -
决策树算法(一)
决策树算法是机器学习中的一种算法,有分类和预测的作用。首先先贴下算法1.简要介绍及算法表达: 输入:训练集D={(x1,y1),(x2,y2),…,(xm,ym)}D=\{(x_1,y_1),(x_2,y_2),…, (x_m,y_m) \} 属性集A={a1,a2,…,ad}A=\{a_1,a_2,…,a_d \} 过程:函数TreeGenerate(D,A)TreeGenerat原创 2016-12-23 16:09:30 · 567 阅读 · 0 评论 -
拟牛顿法
拟牛顿法1、牛顿法又称割线法,对f(x+Δx)进行泰勒展开f(x+\Delta x)进行泰勒展开f(x+Δx)=f(x)+f′(x)Δx+12f”(x)Δx2f(x+\Delta x) = f(x) + f’(x)\Delta x+\frac{1}{2}f”(x)\Delta x^2对Δx\Delta x求导,得:f′(x+Δx)=f′(x)+f”(x)Δxf’(x+\Delta x) = f’(x原创 2017-12-28 16:03:06 · 1545 阅读 · 0 评论 -
ADADELTA
全文参考: Zeiler M D. ADADELTA: an adaptive learning rate method[J]. arXiv preprint arXiv:1212.5701, 2012.该方法只使用一阶信息,无需手动调整学习速率,对噪声梯度信息,不同的模型结构选择,各种数据模式和超参数的选择具有一定的鲁棒性。1.ADAGRADADADELTA是ADAGRAD的变原创 2018-02-04 19:51:34 · 2500 阅读 · 0 评论 -
Adam
Adam方法同样融合了 AdaGrad和RMSProp,更新公式如下: wt=wt−1−α∗mt^vt^−−√+ϵw_{t} = w_{t-1} - \alpha * \frac{\hat {m_t}}{\sqrt{\hat{v_t}}+\epsilon} 其中tt表示次数,mt^\hat{m_t}为mtm_t的纠正,vt^\hat{v_t}为vtv_t的纠正mt^=mt1−βt1\hat{m_原创 2018-02-09 19:50:56 · 1415 阅读 · 0 评论 -
逻辑回归公式推导
文章参考周志华《机器学习》机器学习离不开模型,算法,激活函数。 逻辑回归使用线性回归的的预测结果去逼近对数几率,所以使用的模型和线性回归一样。逻辑回归使用的激活函数为S型函数中的对数几率函数,公式以及曲线如下: y=11+e−zy=11+e−zy=\frac{1}{1+e^{-z}} 而逻辑回归从输入的特征值计算出输出值的更新公式为: h(θ)=11+e−(θTx+b)h(θ)=1...原创 2018-03-23 16:19:31 · 598 阅读 · 0 评论