Pytorch学习

Pytorch初步认识

深度学习大致就是这么一个用人类的数学知识与计算机算法构建起来的整体架构，再结合尽可能多的训练数据以及计算机的大规模运算能力去调节内部参数，尽可能逼近问题目标的半理论、半经验的建模方式。

   深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。 [1] 
   深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。 [1] 

Tensor

在深度学习里，Tensor实际上就是一个多维数组（multidimensional array）。

而Tensor的目的是能够创造更高维度的矩阵、向量。

机器学习

Machine Learning

定义：1.在没有明确设置的情况下使计算机具有学习能力。2.计算机程序从经验E中学习，解决某一任务T，进行某一性能度量P，通过P测定在T上的表现因经验E而提高。

监督学习和无监督学习

监督学习

给算法一个数据集，包含正确答案(regression problem) 设法预测连续值的属性

作者：云上听风
链接：https://www.jianshu.com/p/8cfb036136f5
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

supervised learning

无监督学习

给一个数据集，让其自动分类
无监督学习，它是学习策略，交给算法大量的数据，并让算法为我们从数据中找出某种结构。
在无监督学习中，我们已知的数据。看上去有点不一样，不同于监督学习的数据的样子，即无监督学习中没有任何的标签或者是有相同的标签或者就是没标签。所以我们已知数据集，却不知如何处理，也未告知每个数据点是什么。别的都不知道，就是一个数据集。你能从数据中找到某种结构吗？针对数据集，无监督学习就能判断出数据有两个不同的聚集簇。这是一个，那是另一个，二者不同。是的，无监督学习算法可能会把这些数据分成两个不同的簇。所以叫做聚类算法。
聚类只是无监督学习中的一种。

cost代价函数

梯度下降

梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数J(\theta_0,\theta_1)的最小值。
选择不同的初始参数组合，可能会找到不同的局部最小值
：赋值符号。
：learning rate，学习率。
：这是一个导数项，暂时不解析原理。
Correct: Simultaneous update的意思是同时把代入公式后计算出的值再赋值给，也就是用一对参数同时经过公式计算后的结果再更新参数，即同步更新参数。
求导的目的: 基本上可以说取这个红点的切线，就是这样一条红色的直线，刚好与函数相切于这一点，让我们看看这条红色直线的斜率，就是这条刚好与函数曲线相切的这条直线，这条直线的斜率正好是这个三角形的高度除以这个水平长度，现在，这条线有一个正斜率，也就是说它有正导数，因此，我得到的新的，更新后等于减去一个正数乘以。
这就是梯度下降法的更新规则：

随着梯度下降法的运行，你移动的幅度会自动变得越来越小，直到最终移动幅度非常小，你会发现，已经收敛到局部极小值。

梯度下降算法，你可以用它来最小化任何代价函数，不只是线性回归中的代价函数。