大白的博客

本文是根据网易公开课中斯坦福机器学习公开课的讲义和视频 ，边学习边记录自己的认识和体会。

机器学习需要知道的关键知识 原文地址：A Few Useful Things to Know about Machine Learning　机器学习需要知道的关键知识摘要机器学习介绍Introduction学习算法表示评估优化Learning Represention Evaluation Optimization泛化能力最重要It is Generalizatio

偏差与方差的权衡（Bias/variance tradeoff）在学习线性回归时，我们遇到这样的问题，对于一个回归问题，我们是采用比较简单的模型（y=θ0+θ1xy=\theta_0+\theta_1x）还是采用一个比较复杂的多项式模型（y=θ0+θ1x+⋯θ5x5y=\theta_0+\theta_1x+\cdots \theta_5x^5）呢？ 我们先看下面一个例子： 作为五阶多项

朴素贝叶斯（Naive Bayes）在上一篇介绍的高斯判别分析模型，特征向量XX是连续的实向量。对于离散的特征值来说xx，我们就需要用到另一种模型。 现在我们需要建立一个模型，来识别一封邮件是否是垃圾邮件。邮件分类是众多文本分类问题中的一种。 在开始建立模型之前，我们需要特征值xix_{i}来表示邮件的内容。首先我们要指定一个特征向量，其长度就是字典中单词的个数。如果在邮件中，该单词出现了，那么

在之前的算法中，我们是根据样本来预测出数据的标记（即结果）的概率，那么SVM算法是通过找到数据中的区分边际从而实现数据分类。

生成学习算法和高斯判别分析模型简单介绍

基于tensorflow的识别手写数字的神经网络原文阅读：https://www.tensorflow.org/get_started/mnist/pros

信息理论中的熵

信息编码概念理解

我喜欢用一种新的方式来认识世界，尤其是当一些模糊的认知被形象化为一个具体的概念。信息原理就是一个最好的例子。

广义线性模型（GLM）是在指数分布族基础上形成的模型，对于指数分布族中，参数η\eta都可以有其他对应函数来替代，从而得到指数分布族模型的扩展。为引入GLM来解决问题，我们做三个假设： 1.y|x;θ∼ExponentialFamily(η)y|x;\theta∼ExponentialFamily(\eta)，即已知x和θx和\theta，yy的分布满足参数为η\eta的指数分布族。 2.假设函

可以写出下式形式的分布，都属于指数分布族: p(y;η)=b(y)exp(ηTT(y)−a(η))(1)p(y;\eta)=b(y)exp(\eta^TT(y)-a(\eta))\tag{1} 其中η\eta称为自然参数（natural parameter），T(y)T(y)称为充分统计量（通常情况下T(y)=yT(y)=y）,a(η)a(\eta)称为日志配分函数(log partition

对于逻辑斯蒂回归中，还有另一种最大化l(θ)l(\theta)的算法——牛顿方法。

我们考虑把逻辑回归中，模型的输出严格固定为1或者0，即把g(z)g(z)（逻辑函数）改写为阈函数： g(z)={10z≥0z0g(z)=\begin{cases}1& z \geq 0\\0& z<0\\\end{cases} 我们让假设函数hθ(x)=g(θTx)h_\theta(x)=g(\theta^Tx)，根据之前的算法，我们把参数更新方法写为： θj:=θj+

如果在遇到一些分类问题，用回归算法来做预测时，我们会发现这些算法得出的模型会不尽人意。甚至在一些很明显的情况下，函数值不会比1大或者比0小，即目标值y∈{0,1}y\in\{0,1\}。 针对这种情况，我们改变假设函数hθ(x)h_{\theta}(x)，把假设函数写成如下模型。

Probabilistic Interpretation当遇到一个回归问题时，为什么会用线性回归，尤其是使用最小二乘法损失函数J是比较可靠的？

梯度下降法是最小化损失函数的方法之一，它通过向梯度下降的方向不停的迭代，从而找到使损失函数最小或者趋于最小的值。而正规方程求解参数，使损失函数最小的方法，不会去依赖不停的迭代，而是直接通过计算来求得使损失函数最小的参数值。 在介绍方程之前，先引入导数矩阵的概念：导数矩阵有一个函数f：它是m*n的矩阵到一个实数的映射，我们定义f关于自变量A的导数为： ▽Af(A)=⎡⎣⎢⎢⎢⎢⎢⎢⎢∂f

神经网络算法用于风格转化 原文：A Neural Algorithm of Artistic Style深度神经网络是一个处理图片的强大算法，他可以将图片中的各种特征提取出来，浅层的网络层用于提取图片中的各个简单的特征，比如横线，曲线等等，网络深层提取图片中更高级的特征，如曲线，圆，各种复杂形状。基于网络的这种特征，我们可以提取一些风格图片(style image)的纹理特征，将这些