神经网络与深度学习笔记（2）——机器学习 构建训练和测试数据，其中训练数样本 15 个，测试样本 10 个，高斯噪声标准差为 0.1，自变量范围为 (0,1)。我们设定不同的多项式阶，𝑀的取值分别为0、1、3、8，之前构造的训练集上进行训练，观察样本数据对sin曲线的拟合结果。和之前机器学习实战是有区别的，但是思路是一样的，不过感觉机器学习实战的代码相对简单，因为都是在调用现成的包。下面生成 150 个带噪音的样本，其中 100 个训练样本，50 个测试样本，并打印出训练数据的可视化分布。这个要对python中的类有一定的基础知识，否则看不懂。
机器学习实战（11）——初识人工神经网络 比如TensorFlow的fully_connected()函数会创建全连接层，其中所有输入都连接到该层中的所有神经元。这个函数会创建权重和偏差变量，使用合适的初始化策略，使用ReLU激活函数(可以通过activation_fn参数来修改)。它还支持规则化和归一化参数。
机器学习实战（10）——Tensorflow 有关 tensorflow 参考文档可以在上述网站下载。一个Tensorflow程序通常可以分成两个部分：第一部分用来构建一个计算图（称为构建阶段），第二部分来执行这个图（称为执行阶段）。构建阶段通常会构建一个计算图，这个图用来展现ML模型和训练所需的计算。执行阶段则重复地执行每一步训练动作，并逐步提升模型的参数。
机器学习实训（4）——支持向量机（补充） 拟合类别之间可能的、最宽的“街道”。简而言之，它的目的是使决策边界之间的间隔最大化，从而分隔出两个类别的训练实例。位于“街道”之上的实例被称为支持向量，也包括处于边界上的实例。如果训练集不经缩放，SVM将趋于忽略值较小的特征。这个问题仅适用于线性支持向量机，因为核SVM只能使用对偶问题。这可能是由于过度正则化导致的，因此我们可以提升 gamma 或 C 来降低正则化。
机器学习实训（2）——分类（补充） 我们不只是看10个交叉验证折叠的平均准确率，让我们绘制每个模型的所有10个得分，以及一个突出显示分数上下四分之一的盒子图，以及显示得分程度。从结果来看，Age, Cabin以及Embarked属性中的数据是缺失的，我们可以忽略 Cabin ，暂时先不管，先处理其他的。现在我们有了一个很好的预处理管道，它可以提取原始数据并输出数值输入特征，我们可以将这些特征输入到任何我们想要的机器学习模型中。但是，测试数据不包含标签：我们的目标是使用训练数据训练出最好的模型，然后根据测试数据进行预测。
机器学习实训（3）——训练模型（补充） 下面的训练代码与上面的代码类似，但损失现在有一个额外的ℓ2惩罚，梯度有适当的额外项(注意，我们没有正则化Theta的第一个元素，因为它对应于偏差项)。如果优化问题是凸的，并且学习率也不是太高，那么所有梯度下降算法都可以接近全局最优，最终生成的模型都非常相似。但是除非降低学习率，否则随机梯度下降和小批量梯度下降都不会真正收敛，相反，它们会不断在全局最优的附近波动。不错，不过模型有一点不完美。我们可以对多项式降阶：自由度越低的模型，过度拟合的可能性越低，或者施加正则化，在成本函数中增加岭回归或LASSO回归。
机器学习实训（1）——概览（补充） 基于模型的学习算法搜索的是使模型泛化最佳的模型参数值。通常通过使成本函数最小化来训练这样的系统，成本函数衡量的是系统对训练数据的预测有多坏，如果模型有正则化，则再加上一个对模型复杂度的惩罚。模型有一个或多个参数，这些参数决定了模型对新的给定实例会做出怎样的预测。不存在已知算法解决方案的复杂问题，需要大量手动调整或是规则列表超长的问题，创建可以适应环境波动的系统，帮助我们学习。使用测试集来估算模型在新实例上的泛化误差，验证集则用来比较不同模型，选择最佳模型和调整超参数。包含每个实例所期望的解决方案的训练集。
猿创征文｜机器学习实战（9）——降维 数据降维会丢失一些信息（好比压缩图像带来的效果一样），所以，它虽然能够加速训练，但是也会轻微降低系统性能。。投影：高维空间的所有训练实例实际上受一个低得多的低维子空间所影响，将训练实例投影到该子空间就是投影。但许多情况下，子空间可能是弯曲的或转动的，就引入了流形学习。流形假设（流形假说）认为大多数现实世界的高维度数据集存在一个低维度的流形来重新表示。我们可以把瑞士卷看做一个二维流形的例子。更概括的说，d维流形就是n维空间的一部分（d
猿创征文｜机器学习实战（8）——随机森林 机器学习实战（7）中我们已经提到，随机森林是决策树的集成，通常用bagging方法训练，训练集大小通过max_samples来设置。除了先构建一个 BaggingClassifier 然后将结果传输到 DecisionTreeClassifier ，还有一种方法就是使用 RandomForestClassifier 类（对于回归任务有RandomForestRegressor类），这种方法更方便。
猿创征文｜机器学习实战（7）——集成学习 如果我们聚合一组预测器的预测，得到的预测结果会比最好的单个预测器要好，这样的一组预测器，我们称为集成，这种技术也被称为集成学习。例如，我们可以训练一组决策树分类器，每一棵树都基于训练集不同的随机子集进行训练。做出预测时，我们只需要获得所有树各自的预测，然后给出得票最多的类别作为预测结果，这样一组决策树的集成被称为随机森林。...
机器学习实战（6）——决策树 下面简单看一下例子：简单步骤如下：首先打开该网站，最后将dot文件内容复制粘贴左侧代码区即可。效果如下：（另外pycharm中的插件也可以实现决策树可视化，不过目前上述方法还没出现问题就未曾探索）.........
机器学习实战（5）——支持向量机 支持向量机（简称SVM）是一个功能强大并且全面的机器学习模型，它能够执行线性或非线性分类、回归、甚至是异常值检测任务。SVM特别适用于中小型复杂数据集的分类。本篇博文中理论和理解的东西特别多。实在不懂的可以去哔哩哔哩找浙江大学讲的支持向量机，简单易懂。（）...
机器学习入门（1） 第二行中的数据，1和790相差是很大的，可能会影响我们权重的取值。该关系用一个称为r平方（r-squared） 的值来衡量，其中0表示不相关，1表示100%相关。结果说明，重量2000千克的汽车，1.0升发动机，每行驶1公里，就会释放102.6克CO2。是数字，主要分为两种：离散数据（discrete）和连续数据（continuous）。从结果我们可以看到，x轴上的值集中在6，y轴上的值集中在12范围。我们使用前80%的数据作为训练，后20%的数据用于测试。类似于分类数据，但可以相互度量：A优于B的成绩。
关注
