- 博客(7)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 线性分类器：Logistic Regression
本内容整理自coursera.欢迎交流转载。1 回顾 在这篇博客里我描述过直线、平面和超平面的分类。2 逻辑回归 什么是logistic regression? 假设我们有Ｎ个独立向量，每个向量有Ｄ个特征x⃗ i(x0,x1,x2,...,xD)\vec{x}_i(x_0,x_1, x_2,...,x_D),矩阵Ｈ是特征矩阵，hi(x⃗ i)=x⃗ i(xi)h_i(\vec{x}_i)
2016-11-29 19:18:58
1352
原创 Kernel Regression
本内容整理自coursera，欢迎转载交流。1 Nearest neighbor regression1.1 1-NN regression(1 nearest neighbor regression)步骤：找到与xix_i最近的xNNx_{NN} 则yi=yNNy_i=y_{NN} 度量距离的公式有很多，多用欧拉距离。 １－ＮＮ方法对于数据比较稀疏的局域误差比较大，并且对
2016-11-28 14:52:46
4304
原创 Lasso Regression
本内容整理自coursera，欢迎交流转载。１如何选择特征效率 有意义稀疏性1.1法一：全部子集先选择只含有一个特征的最好的特征，然后２个，……以此类推。 假设我们有０～Ｄ个特征，由于每个特征都有被选中和没有被选中两种情况，因此算法复杂度为 2(D+1)2^{(D+1)}(指的是有这么多种模型，不包括每种模型的计算和预测的复杂度)。1.2法二：贪心算法每次选择一个剩余特征里面最好的特征
2016-11-28 11:01:04
2224
1
原创 机器学习笔记——岭回归（Ridge Regression）
本内容整理自coursera，欢迎转载交流。 （https://www.coursera.org/specializations/machine-learning）1.一般回归遇到的问题一般的回归模型很容易出现过拟合（overfitting）的问题。 为了说明过拟合，先介绍两个概念： error=bias+variance bias:指的是模型在样本上的输出与真实
2016-11-06 09:36:31
17496
2
原创 机器学习——如何评价回归模型
本内容整理自coursera，欢迎交流转载。如何定义损失我们用如下符号表示回归模型的损失（loss）： L(y,fw^(x⃗ ))L(y,f_{\hat{w}}(\vec{x})) 举个栗子，我们可以使用局对误差或者方差表示 损失函数： L(y,fw^(x⃗ ))=|y−fw^(x⃗ )|L(y,f_{\hat{w}}(\vec{x}))=|y-f_{\hat{w}}(\vec{x}
2016-11-04 16:10:53
1798
原创 机器学习５——多元回归及其代码实现
本博客整理自coursera，欢迎转载交流。Features 在简单的一元线性回归模型中，我们的features一般是指一些我们现有的变量。其实，在真正的使用中更重要的可能是如何定义这些特征，我们可以用一些量的函数组合来表示特征。比如预测房价，我们可以用面积，浴室个数……表示特征，也可以用log(面积)，浴室个数的平方……表示特征，那么我们的模型表示为： yi=w0h0(xi)+w1h1(x
2016-11-03 14:25:29
2649
转载 机器学习——梯度下降
参照《机器学习》这本书的第4.4.3节。一.解决目标及情景假设:当给定一些数据，输入x向量已知，输出y也已知，设计一个线性函数y=h（x）去拟合这些数据。既然是线性函数，在此不妨设为h（x）=w0*x0+w1*x1。此时我们遇到的问题就是如何确定w0和w1这两个参数，即w=（w0，w1）这个向量。既然是拟合，则拟合效果可以用误差函数：E（w）=∑ [ h（x）- y ] ^2 / 2 来衡
2016-11-01 17:05:53
417
BP神经网络代码
2017-10-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人