机器学习
机器学习笔记
StephenBarrnet
守得云开见月明!
展开
-
温故知新——前向传播算法和反向传播算法(BP算法)及其推导
1. 前向传播算法所谓的前向传播算法就是:将上一层的输出作为下一层的输入,并计算下一层的输出,一直到运算到输出层为止。从上面可以看出,使用代数法一个个的表示输出比较复杂,而如果使用矩阵法则比较的简洁。将上面的例子一般化,并写成矩阵乘法的形式,这个表示方法就很简洁、很漂亮,后面我们的讨论都会基于上面的这个矩阵法表示来。所以,应该牢牢记住我们符号的含义,否则在后面推导反向传播公式时会比较懵。2. 反向传播算法(BP算法)反向传播(back propagation, BP) 算法是 “误差反向传播转载 2020-06-17 11:41:35 · 7174 阅读 · 0 评论 -
SKlearn学习笔记——聚类算法
SKlearn学习笔记——聚类算法1. 概述1.1 无监督学习与聚类算法1.2 sklearn中的聚类算法2. KMeans2.1 KMeans是如何工作的2.2 簇内误差平方和的定义和解惑3. sklearn.cluster.KMeans3.1 重要参数n_clusters3.2 重要参数init:初始簇心怎么放好?3.3 重要参数max_iter & tol:让迭代停下来3.4 重要属性与重要接口3.5 函数k_means4. 附录4.1 KMeans参数列表4.2 KMeans属性列表4.3原创 2020-06-07 09:57:49 · 5284 阅读 · 0 评论 -
SKlearn学习笔记——神经网络概述
SKlearn学习笔记——神经网络概述1 打开深度学习的大门:神经网络概述1.1 打开深度学习的大门1.2 神经网络的基本原理1.3 sklearn中的神经网络2 neural_network.MLPClassifier2.1 隐藏层与神经元:重要参数hidden_layer_sizes2.2 激活函数:重要参数activation2.3 反向传播与梯度下降前言: scikit-learn,又写作sklearn,是一个开源的基于python语言的机器学习工具包。它通过NumPy, SciPy和Matp原创 2020-06-06 10:48:15 · 14498 阅读 · 2 评论 -
SKlearn学习笔记——逻辑回归
SKlearn学习笔记——逻辑回归1. 概述1.1 名为“回归”的分类器1.2 为什么需要逻辑回归1.3 sklearn中的逻辑回归2. linear_model.LogisticRegression2.1 二元逻辑回归的损失函数2.2 正则化:重要参数penalty & C2.3 梯度下降:重要参数max_iter2.4 二元回归与多元回归:重要参数solver2.5 逻辑回归中的特征选择2.6 样本不平衡与参数class_weight2.5 逻辑回归中的特征选择前言: scikit-learn原创 2020-06-06 10:03:28 · 4865 阅读 · 0 评论 -
SKlearn学习笔记——随机森林
SKlearn学习笔记——随机森林1. 概述1.1 集成算法概率1.2 sklearn中的集成算法2. RandomForestClassifier2.1 重要参数2.2 重要属性和接口3. 机器学习中调参的基本思想4. 实例:随机森林在乳腺癌数据上的调参前言: scikit-learn,又写作sklearn,是一个开源的基于python语言的机器学习工具包。它通过NumPy, SciPy和Matplotlib等python数值计算的库实现高效的算法应用,并且涵盖了几乎所有主流机器学习算法。以下内容整理原创 2020-06-01 18:27:42 · 6525 阅读 · 1 评论 -
SKlearn学习笔记——XGBoost
SKlearn学习笔记——XGBoost1. 概述1.1 xgboost库与XGB的sklearn API1.2 XGBoost的三大板块2. 梯度提升树2.1 提升集成算法:重要参数 n_estimators2.2 有放回随机抽样:重要参数subsample2.3 迭代决策树:重要参数eta3. XGBoost的智慧3.1 选择弱评估器:重要参数booster3.2 XGB的目标函数:重要参数objective3.3 求解XGB的目标函数3.4 参数化决策树 :参数alpha,lambda3.5 寻找最原创 2020-05-31 09:25:25 · 18066 阅读 · 0 评论 -
SKlearn学习笔记——决策树
SKlearn学习笔记——决策树1. 概述1.1 决策树是如何工作的1.2 sklearn中的决策树2. DecisionTreeClassifier2.1 重要参数2.2 重要属性和接口前言: scikit-learn,又写作sklearn,是一个开源的基于python语言的机器学习工具包。它通过NumPy, SciPy和Matplotlib等python数值计算的库实现高效的算法应用,并且涵盖了几乎所有主流机器学习算法。以下内容整理自 菜菜的机器学习课堂.sklearn官网链接: 点击这里.1原创 2020-05-30 18:16:51 · 4757 阅读 · 5 评论 -
SKlearn学习笔记——数据预处理与特征工程
SKlearn学习笔记 一. sklearn上的数据预处理与特征工程二. 决策树在sklearn上的实现三. 随机森林在sklearn上的实现四. 逻辑回归在sklearn上的实现五. Kmeans聚类算法在sklearn上的实现六. 支持向量机在sklearn上的实现七. 朴素贝叶斯在sklearn上的实现八. XGBoost在sklearn上的实现九. 神经网络在sklearn上的实现前言: scikit-learn,又写作sklearn,是一个开源的基于python语言的机器学习工具包。它通过Num原创 2020-05-30 18:16:07 · 5471 阅读 · 0 评论 -
三种梯度下降法对比(Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent)
梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,随机梯度下降(stochastic gradient descent)、批量梯度下降(Batch gradient descent)和mini-batch梯度下降(Mini-batch gradient descent)是两种迭代求解思路,下面从公式和实现的角度对三者进行分析。下面的h(x)是要拟合的函数,J(theta)损失函数,the...转载 2020-03-18 11:20:52 · 5915 阅读 · 0 评论