机器学习算法
文章平均质量分 92
八绝书生
这个作者很懒,什么都没留下…
展开
-
正规方程法求解线性回归及正规方程法与梯度下降法的选择
正规方程法 问题:矩阵XTXX^TXXTX不可逆(奇异矩阵)的2种常见原因: 1、特征之间存在线性关系。如:x2=x1∗3.14x_2 = x_1 * 3.14x2=x1∗3.14,解决办法:删除一个 2、样本数量m小于等于特征数量n。解决办法:正规化减少特征数量 ...原创 2020-09-14 14:10:18 · 415 阅读 · 0 评论 -
用python实现逻辑回归
逻辑回归的代价函数 公式:hθ=θTxh_θ = θ^Txhθ=θTx,g(z)=11+e−zg(z) = \frac1{1+e^{-z}}g(z)=1+e−z1 ==>hθ=11+e−θTxh_θ = \frac1{1+e^{-θ^Tx}}hθ=1+e−θTx1 代价函数:J(θ)J(θ)J(θ) = 1m∑i=1m12(hθ(x(i))−y(i))2\frac1m\sum_{i=1}^{m}\frac12{(h_θ(x^{(i)}) - y^{(i)})}^2m1∑i=1m21(hθ原创 2020-09-14 11:19:00 · 396 阅读 · 0 评论 -
用梯度下降法处理多元线性回归
多元线性回归 公式:hθh_θhθ = θ0θ_0θ0 + θ1xθ_1xθ1x + θ2x2θ_2x_2θ2x2 +……+θnxnθ_nx_nθnxn 我们假设x0x_0x0 = 1,则我们的特征向量XXX为: [x0x1……xn] \left[ \begin{matrix} x_0 & \\ x_1 & \\ …… & \\ x_n \end{matrix} \right] ⎣⎢⎢⎡x0x1……xn⎦⎥⎥⎤ 我们的参数θ为: [θ0θ1……θn原创 2020-09-12 20:34:12 · 1109 阅读 · 1 评论 -
用python实现一元线性回归的梯度下降
线性回归 线性回归公式:hθh_θhθ = θ0θ_0θ0 + θ1xθ_1xθ1x 平方差代价函数:J(θ)J(θ)J(θ) = 12m∑i=1m(hθ(x(i)−yi))2\frac1{2m}\sum_{i=1}^{m}{(h_θ(x^{(i)} - y^{i}))}^22m1∑i=1m(hθ(x(i)−yi))2 梯度下降 θj:=θj−α∂∂θjJ(θ0,θ1)θ_j := θ_j - α\frac∂ {∂ θ_j}J(θ_0,θ_1)θj:=θj−α∂θj∂J(θ0,θ1)原创 2020-09-11 23:17:06 · 657 阅读 · 0 评论