webufoqiu-CSDN博客

原创《蜥蜴书》_讲义及源码解读_12

使用TensorFlow自定义模型和训练文章目录使用`TensorFlow`自定义模型和训练`TensorFlow `速览像 `NumPy` 一样使用 `TensorFlow`张量和运算张量和 `NumPy`类型转换使用`tf.Variable()`创建可修改的张量：变量自定义模型和训练算法自定义损失函数保存、加载包含自定义组件的模型自定义激活函数、初始化器、正则器和约束自定义指标自定义层自定义模型使用自动微分计算梯度`TensorFlow` 函数和图TF 函数规则TensorFlow速览Tensor

2021-11-15 22:50:18 1290

原创《蜥蜴书》_讲义及源码解读_11

训练神经网络文章目录训练神经网络梯度消失/爆炸问题原因的分析和猜测著名的饱和激活函数`Sigmoid` ：σ(x)=11+e−x\sigma(x)=\frac{1}{1+e^{-x}}σ(x)=1+e−x1著名的饱和激活函数`tanh`: tanh(x)=ex−e−xex+−xtanh(x)=\frac{e^x-e^{-x}}{e^x+^{-x}}tanh(x)=ex+−xex−e−x显著缓解这个问题的方法使用新的初始化策略（`Glorot` 初始化）`LeCun`初始化策略：`He` 初始化策略著

2021-11-11 22:17:19 2361

原创《蜥蜴书》_讲义及源码解读_10

从生物神经元到人工神经元生物神经元Cell body 细胞体Nucleus 核axon 轴突axon hillock 轴突丘dendrite 树突telodendria 终树突synaptic terminals 突触终端Neurons 神经元生物神经元：这是动物大脑中一种不太常见的细胞，包括：细胞体Cell body (含有细胞核Nucleus和大部分细胞组织），许多貌似树枝的树突dendrite，和一条非常长的轴突axon。轴突的长度可能是细胞体的

2021-11-03 20:26:59 358

原创《蜥蜴书》_讲义及源码解读_09

无监督学习文章目录无监督学习聚类Clustering聚类的应用领域：K-Means算法示例代码：使用`make_blobs`生成数据示例代码：训练拟合和预测硬聚类和软聚类：`K-Means`算法基本思想中心点初始化方法寻找最佳聚类数`K-Means`的局限使用聚类进行图像分割使用聚类进行预处理使用聚类进行半监督学习`DBSCAN`算法`DBSCAN`算法结合K-近邻算法实例代码：其他的聚类算法高斯混合模型`EM`期望最大化算法：使用高斯混合进行异常检测选择聚类数贝叶斯高斯混合模型。其他用于异常检测和新颖性

2021-11-01 20:12:41 645

原创《蜥蜴书》_讲义及源码解读_08

降维机器学习的问题都会涉及到有着几千甚至数百万维的特征的训练实例，这不仅让训练过程变得非常缓慢，同时还很难找到一个很好的解。维数灾难（curse of dimentionality ）我们已经习惯生活在一个三维的世界里，以至于在尝试想象更高维的空间时，我们的直觉不管用了。即使是一个基本的 4D超正方体也很难在我们的脑中想象出来。在一个平方单位中随机选取两个点，那么这两个点之间的距离平均约为 0.52。在单位立方体中选取两个随机点，平均距离将大致为 0.66。在一个 1,000,000 维超立方

2021-10-30 14:08:55 234

原创《蜥蜴书》_讲义及源码解读_07

集成学习和随机森林文章目录集成学习和随机森林集成学习投票分类大数定律集成不同算法进行训练使用Bagging 和 Pasting保外评估(Out-of-Bag)随机补丁与随机子空间随机森林特征重要度提升法（Boosting）`Adaboost``Gradient Boosting`梯度提升回归树(GBRT)堆叠法提升` XGBoost`集成学习假设你去随机问很多人一个很复杂的问题，然后把它们的答案合并起来。通常情况下你会发现这个合并的答案比一个专家的答案要好。这就叫做群体智慧。同样的，如果你合并了一组

2021-10-26 22:58:57 160

原创《蜥蜴书》_讲义及源码解读_06

决策树文章目录决策树熵和信息增益**熵**（entropy)：信息增益(IGIGIG)：迭代二叉树 **3** 代（`ID3`）的算法：与信息增益类似，另一个常用于构造决策树的启发性算法：基尼不纯度。基尼不纯度决策树的训练和可视化估计分类概率CART 训练算法CART 算法分类的损失函数（成本函数）：正则化超参数：回归不稳定性和支持向量机一样，决策树是一种多功能机器学习算法，即可以执行分类任务也可以执行回归任务，甚至包括多输出（multioutput）任务。它是一种功能很强大的算法，可以对很复杂

2021-10-25 20:54:04 347

原创《蜥蜴书》_讲义及源码解读_05

文章目录支撑向量机线性`SVM`分类经典的鸢尾花数据集可视化支撑向量`SVM `对特征缩放非常敏感软间隔分类：（对异常值敏感）非线性`SVM`分类处理非线性数据集多项式内核（核技巧）相似特征法高斯 `RBF` 内核如何选择核函数？计算复杂度`SVM`回归解决线性回归任务解决非线性回归任务背后工作原理决策函数和预测训练目标硬间隔线性`SVM`分类器的约束优化软间隔线性`SVM`分类器的约束优化二次规划对偶问题内核化`SVM`在线`SVM`Hinge loss Hinge 损失函数支撑向量机支持向量机（SV

2021-10-23 23:10:19 303

原创《蜥蜴书》_讲义及源码解读_04

文章目录线性回归线性回归预测模型线性回归预测模型（向量形式）线性回归模型的` MSE` 损失函数标准方程(The Normal Equation，正规方程)示例使用标准方程（正规方程）闭式求解 θ^\hat \thetaθ^ 示例：计算复杂度：使用`Sklearn`的线性回归模块`LinearRegression`闭式求解示例：梯度下降对损失函数求偏导梯度下降迭代公式批量梯度下降学习率、迭代次数和收敛速率：随机梯度下降（`SGD`)小批量梯度下降三种梯度下降的总结多项式回归Polynomial regr

2021-10-19 23:09:41 282

原创《蜥蜴书》_讲义及源码解读_03

分类MNIST数据集MNIST有70000 张(28*28)规格的手写数字图片，由美国的高中生和美国人口调查局的职员手写而成。它相当于机器学习当中的“Hello World”。机器学习的初学者迟早也会处理 MNIST 这个数据集。Scikit-Learn提供了许多辅助函数，以便于下载流行的数据集。MNIST 是其中一个：关于此数据集相关：https://www.openml.org/d/554拉取数据集from sklearn.datasets import fetch_openmlmnist

2021-10-18 21:20:03 512

原创《蜥蜴书》_讲义及源码解读_02

完整的机器学习项目文章目录完整的机器学习项目使用开源数据集（真实的）划定问题调研目前的状况：选择性能指标检查假设准备开发环境并下载数据创建训练集、测试集数据探索和可视化地理数据角度可视化以房价角度可视化寻找相关性实验不同属性的组合机器学习算法的数据准备分割下训练数据和标签数据清洗处理文本和分类特征特征缩放综上，转换流水线选择并训练模型在训练集上训练和评估微调模型网格搜索随机搜索分析最佳模型及其误差通过测试集评估系统启动、监控、维护系统保存模型发布模型监控与维护模型使用开源数据集（真实的）https:/

2021-10-17 23:58:21 386

原创《蜥蜴书》_讲义及源码解读_01

文章目录机器学习传统方法和机器学习的对比：机器学习善于：机器学习系统的类型监督学习非监督学习异常检测和新颖性检测半监督学习强化学习批量和在线学习批量学习（离线学习）在线学习（增量学习）基于实例和基于模型机器学习的主要挑战测试与验证源码解读：导入相关库，并运行环境需求检测：下载数据加载并可视化数据选择模型并训练机器学习机器学习是通过编程让计算机从数据中进行学习的科学（和艺术）。更广义的概念：机器学习是让计算机具有学习的能力，无需进行明确编程。 —— 亚瑟·萨缪尔，1959工程性的概念：计算机程

2021-10-17 01:30:22 1138

webufoqiu的专栏