CarpeDiem

本篇主要介绍降维里经常使用的非负矩阵分解与t-SNE，本篇主要讲解两种算法的原理和sklearn实现。

网格搜索适用于三四个（或者更少）的超参数（当超参数的数量增长时，网格搜索的计算复杂度会呈现指数增长，这时候则使用随机搜索），用户列出一个较小的超参数值域，这些超参数至于的笛卡尔积（排列组合）为一组组超参数。网格搜索算法使用每组超参数训练模型并挑选验证集误差最小的超参数组合。

随机森林就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法。

决策树是广泛用于分类和回归任务的模型。本质上，它从一层层的if/else问题中进行学习，并得出结论。决策树学习算法包括3部分：特征选择、树的生成和树的剪枝。常用的算法有ID3、C4.5和CART。

本篇主要学习用于回归和分类的线性模型，包括普通最小二乘法、岭回归、Lasso正则化、Logistic回归、线性支持向量机，通过调节参数对比模型的学习能力。

​ K近邻算法既能够用来解决分类问题，也能够用来解决回归问题。本篇主要学习k近邻算法原理，模型、KD树、ball树的实现，最后总结算法的优缺点。

本文是基于《Python机器学习基础教程》第一章学习的总结，主要是基于iris数据集进行探索数据分析和不同分类模型的对比，从而熟悉使用sklearn的模型进行机器学习。

本篇主要学习神经网络超参数学习率的设置，包括人工调整和策略调整学习率。在模型优化中，常用到的几种学习率衰减方法有：分段常数衰减、多项式衰减、指数衰减、自然指数衰减、余弦衰减、线性余弦衰减、噪声线性余弦衰减。......

本节主要介绍使用留出法、K折交叉验证、留一法进行模型性能评估，以及在sklearn里如何快如使用交叉验证。

本篇主要结合学习的内容，整理了sklearn中的datasets数据集，包括加载数据集、数据集分割、查看数据集分布，并介绍了通用数据集、真世界中的数据集、并介绍如何生成数据和导入本地数据。

在PyTorch编程中会遇到各种张量的操作，这里主要整理了torch.cat()、torch.split()、torch.chunk()、torrch.stack()、torch.unsqueeze()、torch.squeeze()、torch.gather()、torch.where()、torch.norm()、torch.cumsum()、torch.sort()

本节主要对前面内容进行总结，并介绍权值初始化、训练与评估以及随机种子的使用，有了这些基础就可以搭建简单的网络。

PyTorch的optim是用于参数优化的库（可以说是各种梯度下降的变种），optim文件夹主要包括1个核心的父类（optimizer）、1个辅助类（lr_scheduler）以及10个常用优化算法的实现类。optim中内置的常用算法包括adadelta、adam、adagrad、adamax、asgd、lbfgs、rprop、rmsprop、sgd、sparse_adam。本文主要整理了这些优化算法的主要思想，使用方法，以及在训练过程中的优缺点。...

这里将列出PyTorch中常用的损失函数（一般通过torch.nn调用），并详细介绍每个损失函数的功能介绍、数学公式和调用代码。当然，PyTorch的损失函数还远不止这些，在解决实际问题的过程中需要进一步探索、借鉴现有工作，或者设计自己的损失函数。...

在模型实现上，由于深度神经网络层数往往较多，同时会有一些用于实现特定功能的层（如卷积层、池化层、批正则化层、LSTM层等），因此深度神经网络往往需要“逐层”搭建，或者预先定义好可以实现特定功能的模块，再把这些模块组装起来。本篇蛀牙介绍常见层的构建，并最后通过nn.Module和nn.functional进行LeNet和Alexnet网络结构的实现。...

PyTorch数据读入是通过Dataset+DataLoader的方式完成的，Dataset定义好数据的格式和数据变换形式，DataLoader用iterative的方式不断读入批次数据。

Pytorch中的计算最终都可以归结为Tensor即张量的计算，所以有必要详细学习PyTorch中张量属性与运算梯度。

本篇主要介绍Anaconda+Pytorch的安装，内容包括创建虚拟环境、换源、查看GPU和PyTorch的在线、离线下载。