具体的机器学习分析过程（二）

2018/03/18
先占个空，明天继续学习。

---

交叉验证应该出哪些数据，哪些数据才是重要的？
具体看他的交叉验证的到底的结果，并不是多少次的结果，还是一次的预测结果，不知道是调优之后的一次预测结果还是什么。

---

2018/03/19
http://blog.csdn.net/jasonding1354/article/details/50562513
这个讲的还算凑活，但是也没有给我非常大的启发。
现在的情况是，我虽然基本了解了这个交叉验证的过程，但是这个后续的过程还是不理解，甚至说， 本身这个过程产生的数据，就没有很大的作用。
用这个模型得到的精确率可以代表什么？
一定要去区分好这个精确率和准确率，精确率是针对这个正例样本而言的，而对于负例样本没有去关注，这是因为对不同的研究来说，不同的比例起到的作用不一样。关注的重点也不一样。如果是我想知道不管是正例还是负例，只要正确分类都应该记下来。不过？？？？

---

准确来讲，我后续的操作应该是什么？
整个机器学习的过程是我到了这个地步，应该是对模型进行评价，然后判定这个模型的准确性。如果得到了较高的准确率，认为可以作为产品去发布的时候，就可以直接将这部分的东西结束了。
但是，可能还需要一部分操作，那就是我得把这部分进行一个份准确的报告。这部分报告，包括使用的模型，包括得到的准确率，还包括一些你进行的测试方法。
重要的是，我应该能得到一系列图表来说明我这个模型的问题。这才是关键的。

---

交叉验证是不是把这部分的样本误差给测试出来了？
按照说法是，为了提高这个相应的泛化能力，但是这样的结果是什么，是我就选那个精确率高的那个模型吗，还是什么？
正常来说，应该是选择相应的精确率高的模型，这样得到的模型才是可能的泛化能力最强的模型。
但是这个库好像没有给出，只是给出了得分。

刚刚特意去测试了一下这个训练误差，也就是拿训练集去测试这个模型，结果看着倒挺高。
是不是有数据可以展现出来，我这个模型有过拟合的现象？

---

通过英文版的《统计学习基础》对于已经选择了的模型，要去比较他的训练误差和预测误差，相应的就是去反应这个过拟合和欠拟合。

原来的这个knn模型，也不太确定是不是因为数据量不够的原因，其得到的这个图并不是很好。没有一个明显的区分点。

knn

纵坐标是用分类器自身的方法得到的，这个数字可能不太合适。
我应该明白，到底这个数字代表了什么意义，我再去使用，直接就画图了根本出不了实际意义。

不从机器学习的角度去看，他们更多的是从一个损失函数的角度去计算这些个值，而不是从什么精确率。
统计学习的侧重点，在于权衡这个bias-var的关系，但是在机器学习里面怎么去寻找这个东西，把这个东西关系找出来呢？（书里面的却没有找到说侧重精确度的概念，而主要是侧重损失函数）
我还真是担忧，如果写论文的时候怎么去区分这个概念
这两边的评价标准，是有些明显的不同的。
看了些书，感觉机器学习主要针对于这个精确率和召回率的概念，另外，还有训练误差和预测误差。
（这部分东西，到底是机器学习，还是统计学习，没有办法说的很清楚，可能两边都有）
http://blog.csdn.net/good_boyzq/article/details/54730004
https://www.cnblogs.com/nolonely/p/7009001.html
http://blog.csdn.net/huruzun/article/details/41457433
http://blog.sciencenet.cn/blog-430956-768356.html
这些个计算的值，应该都是能进行计算的，我猜。

---

先从现有的开始，感觉现在看的东西多了有点混乱。这些个乱七八糟的东西，应该有一个具体的分类在心中。不然肯定会乱。
2018/03/20
对于不同类型的分类算法（这里只针对分类算法），他的这个评价标准是不一样的（针对机器学习）。例如说：
离散型的，就是返回类别的那种，他的一般就是准确率、召回率等。精确率（？）和召回率一般可以帮助你协调过拟合或者欠拟合这种关系。
而如果是概率性的分类算法，他的评价标准是ROC曲线这种。

---

对于这个精确率和召回率，我还是没有准确找到非常详细的说明。

2018/10/02
这部分，内容说了这么多，还是刚才提到的一个问题，没有说到点子上。