![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘
文章平均质量分 57
疏雨过风林破
这个作者很懒,什么都没留下…
展开
-
多元线性回归
多元(多特征值的)线性回归变量记号:n:样本的数量:x的i的上标表示第i个训练样本的输入特征值(eg.x的上标2表示,第二个训练样本的特征向量)第i个训练样本的第j个特征量多元线性回归的假设为:代价函数为:梯度下降法更新规则: 小结:梯度下降法为什么会使代价函数最小化?在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。梯度向量就是函数变...原创 2018-03-14 22:32:56 · 327 阅读 · 0 评论 -
特征缩放
特征缩放如果有多个特征,为了让这多个特征都在一个相近的范围内,这样梯度下降法就能更快的收敛。均值归一化x−μsx−μs\frac{x-\mu}{s}其中μμ\mu为均值,s为特征值的范围,即max-min。学习率 αα\alpha梯度下降算法迭代过程中的代价函数J(θθ\theta)的值,如果梯度下降算法正常工作,那么每迭代一部后代价函数下降,当到达多次迭代后,代价...原创 2018-03-15 16:48:54 · 461 阅读 · 0 评论 -
线性回归——练习题
一个特征值加载数据,将数据赋给x和y两个向量; 此处使用numpy模块对数组进行处理data = np.loadtxt(‘data1’,delimiter=’、’),此时data为包含两列数据的数组; 计算data的行数,将第一列赋给x,第二列赋给ym = np.size(data,0)x=data[:,0]#数据切片,取所有行的第一列,为一行数据y=data[:,1]#去...原创 2018-03-15 22:44:37 · 4446 阅读 · 0 评论 -
线性回归练习题之多特征值
多特征值得代价函数和梯度下降法和单特征值的差不多,唯一需要多做的一步是特征值缩放。 下面为特征缩放函数来标准化数据: x=x−μS(μ为特征值的均值,S为标准差=方差的算术平方根)x=x−μS(μ为特征值的均值,S为标准差=方差的算术平方根)x = \frac{x - \mu}{S} (\mu为特征值的均值,S为标准差=方差的算术平方根)def normalization(data):...原创 2018-03-18 09:38:32 · 1018 阅读 · 0 评论 -
逻辑回归
逻辑回归的概念线性回归是对多维空间中存在的样本点,用特征的线性组合去拟合空间中点的分布和轨迹,能对连续值结果进行预测。逻辑回归是一种分类问题。如果输出结果是(0,1)的概率值,那么在数学中找到sigmoid函数(逻辑函数)g(z)=11+e−zg(z)=11+e−zg(z) = \frac{1}{1+e^{-z}} g(z)可以将连续值映射到0到1之间。z=θTxz=θTx...原创 2018-03-18 11:33:23 · 285 阅读 · 0 评论 -
逻辑回归——练习题
数据的前两列为成绩,第三列为是否录取的决定。首先加载数据,将数据打在散点图上data = np.loadtxt('ex2data1.txt', delimiter=',')neg = data[data[:, 2] == 0]pos = data[data[:, 2] == 1]fig, ax = plt.subplots()ax.scatter(pos[:, 0], pos[...原创 2018-03-20 10:49:40 · 4113 阅读 · 1 评论 -
机器学习之代价函数、梯度理解
代价函数也叫损失函数,训练数据集的过程就是优化代价函数的过程,代价函数对每个参数的偏导数就是梯度下降中提到的梯度。防止过拟合时添加的正则化项也是添加在代价函数后面的。 过拟合和正则化的概念讲的好的文章:http://blog.csdn.net/cc18868876837/article/details/61414327平方误差代价函数(均方误差)可能是解决回归问题常用的手段。在线性回归中最常...原创 2018-03-14 11:12:00 · 1911 阅读 · 2 评论