![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络机器学习
ChanZany
think twice code once
展开
-
pytorch系列笔记二:批处理与优化器选择
pytorch系列笔记二:批处理与优化器选择批处理批处理对于神经网络的训练是必不可少的,通过对有限数据的shuffle并重新送入模型,因为训练的数据更多了,所以可以提高模型的训练效果在Pytorch中要使用批处理需要进行如下步骤:利用数据集创建一个TensorDataset:#### Download and construct CIFAR-10 dataset.train_dataset = torchvision.datasets.CIFAR10(root='../data/',原创 2020-07-21 11:00:37 · 376 阅读 · 0 评论 -
pytorch系列笔记一:初识Pytorch
pytorch系列笔记一:初识Pytorch文章目录pytorch系列笔记一:初识Pytorchpytorch安装pytorch.tensor vs numpy.ndarray数学运算矩阵运算Tensor的创建自定义tensor的创建随机样本的创建:初始化张量的创建Magic Metrix的创建tensor的属性Autograd:自动求导Pytorch的激励函数回归模型搭建分类模型搭建快速搭建法保存/提取模型pytorch-tutorial参考致谢pytorch安装annaconda下安装pytorc原创 2020-07-20 22:03:06 · 412 阅读 · 0 评论 -
机器学习系列笔记十三: 集成学习/模型聚合
机器学习系列笔记十三: 集成学习/模型聚合文章目录机器学习系列笔记十三: 集成学习/模型聚合什么是集成学习VotingHard Voting模拟实现Hard Voting 集成学习使用Voting ClassifierSoft Voting使用Soft Voting实现集成学习Bagging对Bagging的使用OOB与关于Bagging的更多讨论随机森林与Extra-Trees随机森林使用随机森林Extra-Trees使用Extra-Trees集成学习解决回归问题BoostingAdaBoost使用Ad原创 2020-07-19 20:18:34 · 1261 阅读 · 0 评论 -
机器学习系列笔记十二: 决策树
机器学习系列笔记十一: 决策树文章目录机器学习系列笔记十一: 决策树Intro信息熵使用信息熵寻找最优划分基尼系数使用基尼系数寻找最佳划分基尼系数与信息熵的对比CART与决策树中的超参数决策树的超参数决策树解决回归问题决策树的局限性缺点改进措施总结参考致谢Intro以招聘机器学习算法工程师为例子,对于一个应聘者的信息输入,决策的流程可以一个树结构来表示:通过多级判断产生多个判断条件作为根节点,多个结果作为叶子节点,这样的过程就叫做决策树。通常我们把决策树的深度定义为获取最终结果的最大所需判断数。在原创 2020-07-19 01:32:06 · 297 阅读 · 0 评论 -
机器学习系列笔记十一: 支持向量机SVM
机器学习系列笔记十一: 支持向量机SVM文章目录机器学习系列笔记十一: 支持向量机SVMHard margin SVMSoft Margin和SVM的正则化SVM的使用scikit-learn中的SVMSVM中使用多项式特征使用多项式核函数的SVM核函数Kernel高斯核函数RBF kernel直观理解高斯核函数scikit-learn中的RBF核函数SVM思想解决回归问题具体使用总结参考致谢Hard margin SVM在分类问题中,决策边界决定了模型的预测结果,为了提高模型的泛化能力,我们通常期望原创 2020-07-14 23:02:42 · 397 阅读 · 0 评论 -
机器学习系列笔记十: 分类算法的衡量
机器学习系列笔记十: 分类算法的衡量文章目录机器学习系列笔记十: 分类算法的衡量分类准确度的问题混淆矩阵Confusion Matrix精准率和召回率实现混淆矩阵、精准率和召唤率scikit-learn中的混淆矩阵,精准率与召回率F1 ScoreF1 Score的实现Precision-Recall的平衡更改判定阈值改变平衡点Precision-Recall 曲线ROC 曲线ROC曲线的绘制scikit-learn 中的ROC多分类问题中的混淆矩阵总结参考致谢分类准确度的问题对于前面总结的所有分类算法原创 2020-07-12 23:59:05 · 349 阅读 · 1 评论 -
机器学习系列笔记九: 逻辑回归
机器学习系列笔记九: 逻辑回归Intro为了说明逻辑回归的重要性,先post一张图:这是kaggle在2017年对工作最常用的数据科学方法的排名统计,可以看到逻辑回归LogicRegression是各个行业中(除了军事和安全领域)最为常用的数据科学方法。这也说明对于机器学习算法并不见得是越复杂越好的,要根据实际的使用场景选择最合适的算法。没有免费午餐定理:并没有哪个算法比哪个算法更好,只是在特定的场景中的效果有差别。那么逻辑回归是什么?其实如果修过吴恩达的机器学习课程的同学都不陌生,在此做一原创 2020-07-09 22:18:32 · 480 阅读 · 0 评论 -
机器学习系列笔记八:多项式回归[下]
机器学习系列笔记八:多项式回归[下]在上一节,我们引入了多项式回归,并通过一些简单的编程来实现了它,然后,我们通过实验分析出了在回归问题中常见的两种问题:过拟合与欠拟合。我们提到,测试集的意义就在于在投入生产环境之前就能发现这些问题,但是实际上仅凭测试集也是无法完全发现这个问题的。所以就有了下面的交叉验证的方案。同时,即便能识别出过拟合、欠拟合,但是如何解决这两个问题尤其是过拟合问题才是我们的根本目的,所以就有了下面的模型正则化方案。我们希望通过在这一小节学会与更多与模型调试相关的技能。文章目录原创 2020-07-06 19:50:13 · 373 阅读 · 0 评论 -
机器学习系列笔记七:多项式回归[上]
机器学习系列笔记七:多项式回归[上]文章目录机器学习系列笔记七:多项式回归[上]Intro简单实现scikit-learn中的多项式回归和Pipeline关于PolynomialFeaturesPipeline过拟合与欠拟合概念引入train test split的意义学习曲线绘制学习曲线Intro相比较线性回归所拟合的直线,多线性回归可以拟合的曲线更具有表达能力,能够有效提高模型的精度。区别如下图所示。多项式回归在回归分析中很重要,因为任意一个函数至少在一个较小的范围内都可以用多项式任意逼近,因原创 2020-07-05 23:19:42 · 682 阅读 · 0 评论 -
机器学习系列笔记六:主成分分析PCA[下]
机器学习系列笔记六:主成分分析PCA[下]文章目录机器学习系列笔记六:主成分分析PCA[下]scikit-learn中的PCA基本使用进阶操作对比实验设置合理的n_components通过PCA完成对数据的可视化测试MNIST数据集使用PCA对数据进行降噪处理实验引入使用案例PCA生成特征脸总结参考在上一节,我们自定义实现了PCA主成分分析法,并通过多个测试验证了算法的有效性,当然与scikit-learn或其他机器学习框架封装的PCA算法相比差的很远,但也足以让我们理解PCA的原理。在这一节,我们就原创 2020-07-04 21:15:51 · 648 阅读 · 0 评论 -
机器学习系列笔记五:主成分分析PCA[上]
机器学习系列笔记五:主成分分析PCA[上]文章目录机器学习系列笔记五:主成分分析PCA[上]IntroductionPCA的原理特征降维的引入PCA的求解数学推导梯度上升法解决主成成分分析问题代码实现梯度上升法求解主成分demean梯度上升法求解其他主成分求解前n个主成分对求解n个主成分方法的最终封装高维数据向低维数据映射Introduction主成分分析是一个非监督的机器学习算法:主要用于数据的降维,通过降维,可以发现更便于人类理解的特征,比如在人脸识别中,就必须通过降维对数据进行处理。其他应原创 2020-07-03 22:17:04 · 377 阅读 · 0 评论 -
机器学习系列笔记四:线性回归算法
机器学习系列笔记四:线性回归算法文章目录机器学习系列笔记四:线性回归算法introduction最小二乘法实现简单线性回归自定义SimpleLinearRegression向量化运算实现SimpleLinearRegression衡量回归算法的标准MSERMSEMAEscikit-learn中的MSE和MAER Squared实现多元线性回归自定义多元线性回归模型scikit-learn中的线性回归KNN Regressor线性回归的可解释性线性回归算法总结introduction线性回归是用于解决回原创 2020-07-02 17:08:31 · 382 阅读 · 0 评论 -
机器学习系列笔记三:K近邻算法与参数调优[下]
机器学习系列笔记三:K近邻算法与参数调优[下]文章目录机器学习系列笔记三:K近邻算法与参数调优[下]网格搜索超参 Grid Search数据归一化最值归一化Normalization均值方差归一化 Standardization对数据集进行归一化sklearn中的StandardScaler手写StandardScaler关于K近邻算法的思考使用scikit-learn实现机器学习的流程总结参考资料网格搜索超参 Grid Search在上一章节中简单描述了对各个超参数的求解过程,实际上sklearn内原创 2020-06-30 16:11:47 · 1450 阅读 · 0 评论 -
机器学习系列笔记二:K近邻算法与参数调优[上]
机器学习系列笔记二:K近邻算法与参数调优[上]文章目录机器学习系列笔记二:K近邻算法与参数调优[上]手写KNN模拟数据KNN的过程对手写的算法进行封装scikit-learn对KNN算法的封装使用sklearn提供的KNN通过对sklearn的使用重新封装手写的KNN判断机器学习算法的性能数据分离准确度超参数和模型参数寻找好的超参数寻找最好的k考虑距离?不考虑距离?距离的定义搜索Minkowski Distance相应的pKNN算法具有如下特点:思想简单应用数据知识少效果好可以解释机器学习算法原创 2020-06-29 22:31:30 · 1094 阅读 · 0 评论 -
机器学习系列笔记一:Introduction
机器学习系列笔记一:Intro数据以鸢尾花的数据集为例:花萼长度花萼宽度花瓣长度花瓣宽度种类5.13.21.40.2se(0)7.03.24.71.4ve(1)6.33.362.5vi(2)数据整体叫数据集(data set)每一行数据称为一个样本(sample)除最后一列,每一列表达样本的一个特征(feature)第iii 个样本的所有特征集合写作特征向量 X(i)X^{(i)}X(i),第iii个样本的第jj原创 2020-06-28 23:04:58 · 303 阅读 · 0 评论 -
DQN的总结
转载一篇关于DQN解释非常好的文章转载自:https://zhuanlan.zhihu.com/p/46852675本人做了一些细微的改动,方便个人理解,原文请点这里DQN的由来和解释Q-Learning可以很好的解决迷宫问题,但这终究是个小问题,它的状态空间和动作空间都很小。而在实际的情况下,大部分问题都有巨大的状态空间或动作空间,建立Q表,内存是不允许的,而且数据量和时间开销也是个问题。我们可以使用神经网络来表示我们的 Q 函数,每层网络的权重就是对应的值函数,取 4 四帧游戏图像作为 sta转载 2020-06-07 19:09:24 · 9406 阅读 · 0 评论 -
从Q-Learning到Deep-Q-Learning
Deep Learning定义深度学习(Deep Learing)由一组算法和技术构成,这些算法和技术试图发现数据的重要特征并对其高级抽象建模。深度学习的主要目标是通过对数据的自动学习来避免手动描述数据结构(如手写特征)。深度指的是通常具有两个或多个隐藏层的任何神经网络即(DNN)。大多数深度学习模型都基于人工神经网络(ANN),尽管它们也可以包含命题公式或在深度生成模型中分层组织的潜在变量,例如Deep Belief Networks和Deep Boltzmann Machines中的节点。人工神原创 2020-06-07 14:36:18 · 1475 阅读 · 0 评论 -
强化学习之Q-Learing基础
强化学习之Q-Learing基础文章目录强化学习之Q-Learing基础马尔可夫决策过程MDP1)部分可观察马尔可夫决策过程POMDPs2)Markov Games:总结强化学习之Q-Learning马尔可夫决策过程MDPMDP 是一个离散时间随机控制过程。MDP提供了用于建模决策问题的数学框架,在该决策中,结果是部分随机的,并且受决策者或代理商的控制。MDP对于研究可以通过动态编程和强化学习技术解决的优化问题很有用。通常MDP可以用这样的元组来定义:(S,A,p,r)(S,A,p,r)(S,A原创 2020-06-06 20:52:30 · 1209 阅读 · 1 评论 -
通过几张图学会梯度下降的原理和用法
引言梯度下降是机器学习的核心基础概念,但是碍于概念过于抽象,所以比较难理解,所以笔者想花一些时间来弄懂梯度下降的原理,所以就有了后面的这些图和我个人的一些理解和看法,希望可以在助力自身学习的同时帮助一些初学者更快的搞懂梯度下降。预备知识导数的物理意义在理解梯度下降前,我们首先要知道高等数学的偏导数知识,导数的的物理意义。比如下面这张图,对于某条曲线而言,我们可以知道导数的物理意义就是计算其在各个点的斜率。在知道导数的物理意义之后,我们可以更深一层的理解,导数为0的点要么是这个曲线的极大值要么是原创 2020-05-08 19:59:32 · 1506 阅读 · 0 评论 -
從感性到理性_搭建第一个神经网络训练模型
在大多数机器学习入门的案例中,要么有代码无理论,要么有理论无代码,闲暇之余,整理之前的笔记,希望可以更好的让初学者用一个案例理解神经网络的理论和实践,从感谢认知上升到理性认知。原创 2020-05-07 19:29:16 · 654 阅读 · 0 评论