机器学习基础知识

基本训练过程

https://tensorflow.google.cn/tutorials/eager/custom_training?hl=zh-cn

tf中文文档

https://tensorflow.google.cn/tutorials/?hl=zh-cn
https://www.w3cschool.cn/tensorflow_python/tensorflow_python-pmdi2z4d.html
https://developers.google.cn/machine-learning/crash-course/?hl=zh-cn
textClassification : https://developers.google.cn/machine-learning/guides/text-classification/step-5?hl=zh-cn

线性回归

参考：https://segmentfault.com/a/1190000016889364

损失函数、偏置目标函数、交叉熵损失函数-最大似然估计

在模型训练时，我们希望最大似然值越大，模型对数据的表达能力越好。而我们在参数更新或衡量模型优劣时是需要一个能充分反映模型表现误差的损失函数（Loss function）或者代价函数（Cost function）的，而且我们希望损失函数越小越好。由这两个矛盾，那么我们不妨让代价函数为上述组合对数概率的相反数——即为“交叉熵损失函数”。

最大似然估计（MLE：为模型找到的参数值被称为最大似然估计）：
https://baijiahao.baidu.com/s?id=1589101017486203264&wfr=spider&for=pc
https://www.cnblogs.com/sylvanas2012/p/5058065.html
https://blog.csdn.net/u011508640/article/details/72815981

交叉熵损失函数：https://blog.csdn.net/jasonzzj/article/details/52017438
目标函数：
https://blog.csdn.net/liuliqun520/article/details/80032592

梯度下降

SGD 参考：https://segmentfault.com/a/1190000017048213?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
Optimaizer 参考：https://www.cnblogs.com/bonelee/p/8392370.html

理解神经网络中的目标函数—目标函数是如何构建、为何MLE可以用来确定网络的权重、神经网络的概率解释（判别式分类模型（多分类）的输出，每个输出包含N 个概率值，N 就是类别数目）和目标函数之间有什么联系

在优化神经网络时，目标是不断地更新参数（译者注：这里应该指的是神经网络的参数）以至于给定一个输入集 X，可以正确输出概率分布 Y的参数（回归值或者类别）。这通常通过梯度下降算法及其变种来实现。所以为了获得一个 MLE 估计，目标就是根据真实输出来优化模型输出：

最大化一个范畴分布的对数也就相当于最小化近似分布和真实分布之间的交叉熵。
最大化一个高斯分布的对数也就相当于最小化近似均值和真实均值之间的均方误差。

当我们试图使用极大似然估计（MLE）来确定神经网络的参数 θ 时，这就变得清楚了。MLE 用于找到能够使得训练数据似然（或者对数似然）最大的参数 θ
所以上式也就可以分别写成交叉熵损失和均方误差，也就是神经网络用于分类和回归时的目标函数。
参考：https://blog.csdn.net/u010099080/article/details/80574268#mjx-eqn-1

学习率

参考：https://blog.csdn.net/JNingWei/article/details/79243800

模型评价指标

二分类问题 参考：https://mp.weixin.qq.com/s/xoziOrJT0ncXX_lw5RFDqQ
多分类问题 参考：https://blog.csdn.net/qq280929090/article/details/70598264

Module: tf.nn.rnn_cell

https://blog.csdn.net/xierhacker/article/details/78772560

Estmater、DataSet

https://yq.aliyun.com/articles/194302
https://terrytangyuan.github.io/data/papers/tf-estimators-kdd-paper.pdf?spm=a2c4e.11153940.blogcont194302.34.3939407eJtOxVH&file=tf-estimators-kdd-paper.pdf