![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
天天乐见
这个作者很懒,什么都没留下…
展开
-
探索HyperLogLog算法(含Java实现)
https://www.jianshu.com/p/55defda6dcd2转载 2019-03-08 14:48:57 · 617 阅读 · 0 评论 -
机器学习(十三)——独立成分分析(ICA)
13 独立成分分析(ICA)和PCA类似找到一组新的向量组来表示原样本数据,但是和PCA又完全不同。先假设有某个样本数据 s∈Rns \in R^ns∈Rn,这个数据是由 nnn 个独立的来源(independent sources)生成的。我们观察到的则为:x=As,x = As,x=As,上面式子中的 AAA 是一个未知的正方形矩阵(square matrix),叫做混合矩阵。 通过重...原创 2019-05-24 10:09:40 · 1014 阅读 · 0 评论 -
机器学习(十二)——主成分分析(PCA)
12.主成分分析(PCA)PCA主要是去除相关联特征中的噪声,从而使得关联特征数量转化为同一平面(直线),从而达到降纬的目的。也就是寻找数据变更主轴。应用:可视化压缩数据提高机器学习速度减少过拟合异常检测距离计算例如我们有一个关于飞行员水平数据集,其中一个特征代表飞行员对飞行的热情,另一个特征代表飞行员飞行水平。这两个特征很可能是线性相关的,但是由于数据中存在噪声的影响导致这...原创 2019-05-24 10:09:33 · 379 阅读 · 0 评论 -
机器学习(十一)——因子分析法
11.因子分析法对于高斯混合模型而言,需要足够的样本才能对模型进行拟合。但是如果出现样本数量远远少于特征数量的情况下怎么办?首先,我们需要了解为什么在这种情况下单一高斯模型不行?在高斯模型中,我们是利用最大似然来估计高斯分布中的参数(平均值、协方差):ϕ=1m∑i=1m1{y(i)=1}μ0=∑i=1m1{y(i)=0}x(i)∑i=1m1{y(i)=0}μ1=∑i=1m1{y(i)=1}...原创 2019-05-24 10:09:20 · 2164 阅读 · 0 评论 -
机器学习(十)——期望值最大算法(EM算法)
10.期望值最大算法(EM算法)1.Jensen不等式设 fff 为一个函数,其定义域(domain)为整个实数域(set of real numbers)。这里要回忆一下,如果函数 fff 的二阶导数 f′′(x)≥0f''(x) \ge 0f′′(x)≥0 (其中的 x∈Rx \in Rx∈R),则函数 fff 为一个凸函数(convex functio...原创 2019-05-23 14:25:09 · 1029 阅读 · 0 评论 -
机器学习(九)——均值聚类算法(k-means)
9.均值聚类算法(k-means)在聚类的问题中,我们得到了一组训练样本集 {x(1),...,x(m)}\{x^{(1)},...,x^{(m)}\}{x(1),...,x(m)},然后想要把这些样本划分成若干个相关的“类群(clusters)”。其中的 x(i)∈Rnx^{(i)}\in R^nx(i)∈Rn,而并未给出分类标签 y(i)y^{(i)}y(i) 。所以这就是一个无监督学习的问...原创 2019-05-23 14:23:38 · 478 阅读 · 0 评论 -
机器学习(八)——学习理论
8.学习理论1.交叉验证k-折交叉验证将数据集划分为k份,每次选取一份作为测试数据,其他的为训练数据。重复k次。计算每次错误的平均值。以此验证模型的性能。随机将训练集 SSS 切分成 kkk 个不相交的子集。其中每一个子集的规模为 m/km/km/k 个训练样本。这些子集为 S1,⋯ ,SkS_1,\cdots,S_kS1,⋯,Sk对每个模型 Mi...原创 2019-05-23 14:22:42 · 206 阅读 · 0 评论 -
机器学习(七)——支持向量机
7.支持向量机硬间隔支持向量机:求解:每个样本点到超平面的距离,取最小值,并且使这个最小值最大,即:求到样本集合几何距离最小的超平面,写作:maxγ,w,bγs.t.y(i)((w∥w∥)Tx(i)+b∥w∥)≥γ,i=1,...,m\begin{aligned}max_{\gamma,w,b} \quad& \gamma \\s.t. \quad &...原创 2019-05-23 14:21:47 · 167 阅读 · 0 评论 -
机器学习(六)——高斯判别法(GDA)
6.高斯判别法(GDA)多元正态分布p(x;μ,Σ)=1(2π)n/2∣Σ∣1/2exp(−12(x−μ)TΣ−1(x−μ))p(x;\mu,\Sigma)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}} exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))p(x;μ,Σ)=(2π)n/2∣Σ∣1/21exp(−21(x−μ...原创 2019-05-23 14:19:38 · 2865 阅读 · 0 评论 -
机器学习(五)——广义线性模型
5.广义线性模型指数族p(y;η)=b(y)e(ηTT(y)−a(η))\large p(y;η)=b(y)e^{(η^TT(y)−a(η))}p(y;η)=b(y)e(ηTT(y)−a(η)) η\etaη 叫做此分布的自然参数,一般T(y)=yT(y)=yT(y)=y伯努利分布属于指数族p(y;ϕ)=ϕy(1−ϕ)1−y=e[ylogϕ+(1−y)log(1−ϕ)]=e...原创 2019-05-23 14:16:10 · 225 阅读 · 0 评论 -
机器学习(四)——牛顿迭代法
4.牛顿迭代法迭代方法变为:θ:=θ−l′′(θ)l′(θ)θ:=θ− \frac{l′′(θ)}{l′(θ)}θ:=θ−l′(θ)l′′(θ)原创 2019-05-23 14:12:56 · 748 阅读 · 0 评论 -
机器学习(三)——逻辑回归(二元分类)
3.逻辑回归(二元分类)逻辑回归是一个二分类问题,所以我们需要将预测的结果,映射到{0,1}之上。所以针对θTxθ^TxθTx的值,我们修改为:hθ(x)=11+e−θTxh_θ(x)=\frac{1}{1+e^{-θ^Tx}}hθ(x)=1+e−θTx1当θTxθ^TxθTx趋近正无穷时,hθ(x)h_θ(x)hθ(x)趋近于1。当θTxθ^TxθTx趋近负无穷时,hθ(x)h_...原创 2019-05-23 14:11:27 · 874 阅读 · 0 评论 -
机器学习(二)——局部加权线性回归(非参数算法)
2.局部加权线性回归(非参数算法)在线性回归的基础上,对最小二乘使用权值:J(θ)=12∑i=1mw(i)(θTx(i)−y(i)))2J(θ)=\frac{1}{2}\sum^m_{i=1}w^{(i)}(θ^Tx^{(i)}-y^{(i)}))^2J(θ)=21i=1∑mw(i)(θTx(i)−y(i)))2添加权值的方法有多种,我们这里选择的权值是:w(i)=exp(−(x(...原创 2019-05-23 14:09:14 · 1090 阅读 · 1 评论 -
机器学习(一)——线性回归
1. 线性回归成本函数:最小二乘J(θ)=12∑i=1m(θTx(i)−y(i)))2J(θ)=\frac{1}{2}\sum^m_{i=1}(θ^Tx^{(i)}-y^{(i)}))^2J(θ)=21i=1∑m(θTx(i)−y(i)))2利用梯度下降法:θj=θj−α∂J(θ)∂θjθ_j=θ_j-α\frac{\partial J(θ)}{\partial θ_j}θj...原创 2019-05-23 14:08:37 · 200 阅读 · 0 评论 -
整数翻转
前几天在写道进制翻转的题目,发现JAVA提供了直接调用的方法Integer.reverse(int i):二进制按位反转很好奇点进去发现,源码如下:/** * Returns the value obtained by reversing the order of the bits in the * two's complement binary representation of th...原创 2019-04-09 12:38:00 · 109 阅读 · 0 评论 -
机器学习(十四)——强化学习
14 强化学习1 马尔科夫决策过程(MDP)一个马尔可夫决策过程(Markov decision process)由一个元组(tuple) (S,A,{Psa},γ,R)(S, A, \{P_{sa}\}, \gamma, R)(S,A,{Psa},γ,R)组成,其中元素分别为:SSS 是一个状态集合(a set of states)。(例如,在无人直升机飞行的案例中,SSS 就可以是直...原创 2019-05-24 10:09:47 · 573 阅读 · 0 评论