机器学习算法实现（基于numpy）

《机器学习公式推导与代码实现》学习笔记，记录一下自己的学习过程，详细的内容请大家购买作者的书籍查阅。

这篇博客是将笔者边学边刷《机器学习公式推导与代码实现》的模型跟代码记录下来，部分地方结合自己的思考对原作者的代码有一定的改动，这些博客主要是动手去实现一些模型，感受机器学习各个模型能解决的问题以及收敛后的效果，所以对相关理论没有过于深入。

一.监督学习模型

chapter3-对数几率回归

logistic算法（对数几率回归）numpy实现

chapter4-LASSO回归与Ridge回归

numpy实现lasso回归和ridge回归

chapter5-线性判别分析LDA

线性判别分析LDA推导及手动实现

chapter6-k近邻算法

k近邻算法numpy实现

chapter7决策树

机器学习决策树公式推导和实现：ID3、CART

二.监督学习集成模型

chapter10-AdaBoost

基于numpy和sklearn实现集成学习Boosting算法AdaBoost

chapter11-GBDT

手动实现GBDT分类树和GBRT回归树

chapter12-XGBoost

XGBoost分类树numpy实现

chapter13-LightGBM

LightGBM简介和示例

chapter14-CatBoost

CatBoost简单介绍以及原生库使用示例

chapter15-随机森林

随机森林numpy实现

chapter16-集成学习对比与调参

三大集成学习模型XGBoost、LightGBM和CatBoost的对比与调参

三.无监督学习模型

chapter17-kmeans

kmeans手动实现

chapter18-主成分分析PCA

主成分分析法PCA的numpy实现

chapter19-奇异值分解SVD

奇异值分解svd和图像压缩的numpy实现

四.概率模型

chapter21-贝叶斯概率模型

朴素贝叶斯和贝叶斯网络的推导与实现

chapter22-EM算法

EM算法简介、numpy编程EM算法实现三硬币问题

未完待续！机器学习博大精深，欢迎大家一起讨论！

Github笔记本