机器学习
藤方拓海
卷心菜
展开
-
零基础学习(凸优化)
零基础学习(凸优化)凸优化主要内容一、凸集集合C内任意两点间的线段均在集合C内,则称集合C为凸集。∀x1,x2,...,xk∈C,θi∈[0,1]且∑i=1kθi=1,则X=∑i=1kθixi∈C\forall x_1,x_2,...,x_k\in C,\theta_i\in[0, 1]且\sum_{i=1}^{k}\theta_i=1,则X=\sum_{i=1}^{k}\theta_ix_i\in C∀x1,x2,...,xk∈C,θi∈[0,1]且i=1∑kθi=1,则X=i=1原创 2020-09-13 14:42:41 · 452 阅读 · 0 评论 -
推导Lasso回归
推导Lasso回归文章目录推导Lasso回归一、推导过程二、用python编写求解函数三、Lasso求解稀疏表示做人脸识别代码展示:运行结果四、调整不同的超参lambda,对seta的影响代码展示一、推导过程 Lasso方法是在普通线性模型中增加L1L_1L1惩罚项,有助于降低过拟合风险,更容易获得稀疏解,求得的θ\thetaθ会有更少的非零分量。与岭回归的不同在于,此约束条件使用了绝对值的一阶惩罚函数代替了平方和的二阶函数。Lasso回归原式: argminθ∣∣Aθ−原创 2020-09-03 10:26:18 · 3390 阅读 · 1 评论 -
简单的卷积神经网络实现
卷积神经网络参考教程:CNN(莫烦Python19)卷积神经网络流程图实现代码import torchimport torch.nn as nn #神经网络的层import torch.utils.data as Data #批处理数据import torchvision #包括数据库import matplotlib.pyplot as pltfrom torch.autograd import Variable#hyper parametersEPOCH = 1BATCH原创 2020-08-19 22:26:32 · 1283 阅读 · 0 评论 -
七种梯度下降实现
七种梯度下降实现文章目录七种梯度下降实现一、梯度下降推导过程代码实现:结论二、七种梯度下降部分代码实现理论部分:1.纯粹的梯度下降2.梯度下降法+动量3.AdaGrad算法4.RMSProp5.Adam算法6.牛顿法7.牛顿法+正则化结论一、梯度下降推导过程目标函数:f(θ,b)=∣∣Aθ+b−y∣∣=∣∣A^θ^−y∣∣22f(\theta, b)=||A\theta+b-y||=||\hat A \hat \theta-y||_2^2f(θ,b)=∣∣Aθ+b−y∣∣=∣∣A^θ^−y∣∣22原创 2020-08-18 14:55:21 · 214 阅读 · 0 评论 -
岭回归预测波士顿房价
岭回归预测boston房价#岭回归推导f(θ)=1/2∣∣Aθ−y∣∣22+λ/2∣∣θ∣∣22=1/2(Aθ−y)T(Aθ−y)+λ/2θTθf(\theta) = 1/2||A\theta-y||_2^2 + \lambda/2 ||\theta||_2^2=1/2(A\theta - y)^T( A \theta - y) +\lambda/2\theta^T\thetaf(θ)=1/2∣∣Aθ−y∣∣22+λ/2∣∣θ∣∣22=1/2(Aθ−y)T(Aθ−y)+λ/2θTθ=θTATA原创 2020-08-18 12:50:44 · 1023 阅读 · 0 评论 -
最小二乘法估计boston房屋价格
#最小二乘法计算boston房屋价格##线性回归的推导f()f()f()原创 2020-08-18 11:55:48 · 745 阅读 · 0 评论