请叫我AXin

此系列笔记对应于Coursera上的Stanford机器学习课程文章链接： 1.《机器学习笔记01：线性回归(Linear Regression)和梯度下降(Gradient Decent)》 2.《机器学习笔记02：多元线性回归、梯度下降和Normal equation》 3.《机器学习笔记03：正规方程(Normal equation)与梯度下降的比较》 4.《机器学习笔记04：逻辑回归

这是Coursera上 Week4 的 “神经网络的表示” 的编程作业代码。经过测验，全部通过。下面是 linearRegCostFunction.m 的代码：function [J, grad] = linearRegCostFunction(X, y, theta, lambda)%LINEARREGCOSTFUNCTION Compute cost and gradient for

这是Coursera上Week6的神经网络的学习部分的编程作业代码。经过测验，全部通过。下面是 sigmoidGradient.msigmoidGradient.m 的代码：% sigmoidGradient.mfunction g = sigmoidGradient(z)%SIGMOIDGRADIENT returns the gradient of the sigmoid function%

这是Coursera上 Week4 的 “神经网络的表示” 的编程作业代码。经过测验，全部通过。下面是 lrCostFunction.mlrCostFunction.m 的代码：% lrCostFunction.mfunction [J, grad] = lrCostFunction(theta, X, y, lambda)%LRCOSTFUNCTION Compute cost and grad

这是Coursera上 Week3 的 “逻辑回归” 的编程作业代码。经过测验，全部通过。下面是 sigmoid.msigmoid.m 的代码：function g = sigmoid(z)%SIGMOID Compute sigmoid functoon% J = SIGMOID(z) computes the sigmoid of z.% You need to return th

这是Coursera上 Week2 的 “多变量线性回归” 的编程作业代码。经过测验，全部通过。包括以下八个文件：% warmUpExercise.m% plotData.m% gradientDescent.m% computeCost.m% gradientDescentMulti.m% computeCostMulti.m%

再吐槽一下CSDN的markdown编辑器，真的是烂，多少年了连个博客编辑器都做不好，数学公式一长，就卡的一笔。希望CSDN能出个离线的博客。核函数是 SVM 的最重要的部分，我们可以通过设置不同的核函数来创造出非常复杂的、非线性的支持向量机。1.核(Kernel)首先来看看什么是核函数。如图所示，假设有一个样本 xx 有两个特征 x1,x2x_1,x_2，我们可以根据与地标(la

在网上找了很多支持向量机的资料看都是迷迷糊糊没完全搞懂，可能是我理解能力比较差，最后还是 Coursera 上吴大神的 Machine Learning 课程把我一下子讲懂了。由于支持向量机是由逻辑回归(Logistic Regression)衍生而来的，所以学习 SVM 之前务必完全理解逻辑回归。另外，文章中有些关于逻辑回归的东西（例如符号标记、函数的具体由来及其的一些性质）还请参考之前的两篇文章

——–本文中除了在图片下方标记了出处的图片，均为原创，转载请注明出处——–上一篇文章《机器学习笔记06：神经网络的表示(Neural Networks-Representation)》 大概描述了神经网络的起源、结构、表示、工作方法及一些应用。今天这篇文章对应 Coursera 上的Stanford机器学习课程的week05。主要的内容是神经网络的学习，包括梯度下降、反向传播等。1.误差函数(Cos

神经网络(Neural Networks)其实是一个很古老的想法，但是提出来之后，沉寂了很长一段时间。而现在，神经网络是许多机器学习问题的首选算法。文章内的所有图片均属于Stanford机器学习课程，转载请注明出处一、神经网络的表示(The Representation for Neural Networks)1、运用神经网络的动机(Motivations)非线性的假设

说明：文章中的所有图片均属于Stanford机器学习课程（一）过拟合问题(The Problem of Overfitting)不管是在线性回归还是在逻辑回归中，我们都会遇到过拟合的问题。先从例子来看看什么是过拟合。i.线性回归中的过拟合还是以房价预测为例，来看几张张图片：1.欠拟合（Underfitting） 上图中，我们用一条直线 hθ(x)=θ0+θ1xh_

我们已经大概学习了用线性回归（Linear Regression）来解决一些预测问题，详见： 1.《机器学习笔记01：线性回归(Linear Regression)和梯度下降(Gradient Decent)》 2.《机器学习笔记02：多元线性回归、梯度下降和Normal equation》 3.《机器学习笔记03：Normal equation及其与梯度下降的比较》面对一些类似回归

在《机器学习笔记02》中已经讲了多变量的梯度下降法，以及其他的一些小技巧和注意事项。下面来讲一种更加数学化的方法，我们称之为Normal equation，网上也没找到什么标准的翻译，就暂且称其为矩阵方程法吧。一、简单回顾梯度下降如下图所示，我们在进行梯度下降的时候，一般都会执行多次迭代，才能得出最佳的一组 θ\theta 值。 我们能不能只用一次数学意义上的计算就能把所有的

在《机器学习笔记01》中已经讲了关于单变量的线性回归以及梯度下降法。今天这篇文章作为之前的扩展，讨论多变量（特征）的线性回归问题、多变量梯度下降、Normal equation（矩阵方程法），以及其中需要注意的问题。单元线性回归首先来回顾一下单变量线性回归的假设函数: Size(feet2feet^2) Price($\$1000) 2104 460 1416 232 15

最近在Coursera上看吴大神的Machine Learning，感觉讲的真的很棒。所以觉得应该要好好做做笔记，一方面是加强自己对ML中一些方法的掌握程度和理解，另一方面也能方便自己或者同样爱好ML的同学。线性回归(Linear Regression)　　线性回归（Linear Regression）应该是机器学习中最基本的东西了。所谓回归，想必大家在高中时期的课程里面就接触过，给定一系列离散的点