本菜鸡的机器学习笔记

1. kNN

跟着bobo的网课，按照sklearn标准写法复现了kNN算法，不过没有复现 曼哈顿距离公式。也没有加入距离权重。

2. 决策树

实现了CART建树，计算增益用的是gini。没有实现对字符型特征处理，没有处理缺失值，没有处理连续值，没有加入剪枝，没有实现ID3、C4.5算法，也没有按照sklearn写法……不过也差不多都是fit和predict的过程，并实现了树的图像绘制。

还要继续参考学习：
CART决策树(Decision Tree)的Python源码实现：
https://zhuanlan.zhihu.com/p/32164933
如何实现并应用决策树算法？：
http://whatbeg.com/2016/04/23/decisiontree.html
从零开始在Python中实现决策树算法：
https://cloud.tencent.com/developer/article/1035462

我发现自己写的算法， 在大数据集上，根本跑不完，太nm慢了。看来还是可以优化一下算法的数据结构的，不然就只能在GPU上跑了。

3. 逻辑回归

还没做。。。