谓之小一_CSDN博客-机器学习,机器学习,深度学习领域博主

原创 LSTM如何解决RNN带来的梯度消失问题

本篇文章参考于 RNN梯度消失和爆炸的原因、Towser关于LSTM如何来避免梯度弥散和梯度爆炸？的问题解答、Why LSTMs Stop Your Gradients From Vanishing: A View from the Backwards Pass。看本篇文章之前，建议自行学习RN...

2020-04-25 16:31:33 217 0

原创知识图谱嵌入(KGE)主流模型简介
原力计划

1. KGE简介目前(2020.03)知识图谱嵌入研究方法众多，本文将对其中的主流方法进行简要介绍，如翻译、双线性、神经网络、双曲几何、旋转等。各方法细节请看原论文，文中错误欢迎指出，谢谢。知识图谱嵌入(Knowledge Graph Embedding, KGE)学习知识库中的实体和关系...

2020-03-19 16:03:29 907 0

原创 Ununtu16.04搭建GitLab服务器教程

Ununtu16.04搭建GitLab服务器教程文章目录Ununtu16.04搭建GitLab服务器教程1.依赖包安装2.GitLab安装2.1官方教程2.2清华源3.GitLab启动4.GitLab配置4.1更改服务器IP地址4.2更改服务器端口4.3设置GitLab开机自启动5.GitLab...

2019-02-19 09:59:40 154 0

原创详解准确率、精确率、召回率、F1值等评价指标的含义

机器学习问题之中，通常需要建立模型来解决具体问题，但对于模型的好坏，也就是模型的泛化能力，如何进行评估呢？很简单，我们可以定一些评价指标，来度量模型的优劣。比如准确率、精确率、召回率、F1值、ROC、AUC等指标，但是你清楚这些指标的具体含义吗？下面我们一起来看看吧。 1.混淆矩阵介绍各个指标...

2019-01-31 20:55:00 13525 2

原创机器学习之交叉验证

1.交叉验证简介交叉验证(Cross Validation) 是在机器学习建立模型和验证模型参数时常用的方法。顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集。用训练集来训练模型，测试集来评估模型的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的...

2019-01-30 16:30:56 1843 0

原创机器学习降维之线性判别模型(LDA)

1.LDA简介线性判别分析(Linear Discriminant Analysis, LDA) 是一种监督学习的降维方法，也就是说数据集的每个样本是有类别输出。和之前介绍的机器学习降维之主成分分析(PCA)方法不同，PCA是不考虑样本类别输出的无监督学习方法。LDA的原理简单来说就是将带上标签...

2019-01-29 16:13:04 315 0

原创机器学习降维之奇异值分解(SVD)

奇异值分解(Singular Value Decompostion, SVD) 是在机器学习领域广泛应用的算法，不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域，是很多机器学习算法的基石。本篇文章对SVD原理做主要讲解，在学习之前，确保你已经熟悉线性代数中的基本知识，包...

2019-01-01 20:42:14 1599 0

原创机器学习降维之主成分分析(PCA)

主成分分析(Principal components analysis, PCA) 是最重要的降维方法之一，在数据压缩、消除冗余和数据噪音消除等方面有广泛的应用。通常我们提到降维算法，最先想到的就是PCA，下面我们对PCA原理进行介绍。 1. PCA思想 PCA就是找出数据中最主要的方面，用数据...

2018-12-30 21:12:13 1069 1

原创 Gibbs采样

在MCMC采样和M-H采样中，我们讲到M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维情况下计算量非常大，同时由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布方便求解，但特征的联合分布很难求解。因...

2018-12-16 13:46:28 1422 0

原创 MCMC采样和M-H采样

在MCMC之马尔可夫链之中我们介绍到，给定一个概率分布π，很难直接找到对应的马尔可夫链状态转移矩阵P。只要解决这个问题，我们便可以找到一种通用的概率分布采样方法，进而用于蒙特卡罗模拟。下面我们来介绍如何找到马尔可夫链所对应的状态转移矩阵P。 1.马尔可夫链细致平稳条件解决平稳分布π所对应的马尔可...

2018-12-15 18:36:34 692 1

原创 MCMC之马尔可夫链

在MCMC之蒙特卡罗方法之中，讲到如何利用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和方法。但蒙特卡罗方法需要得到对应的概率分布的样本集，而对于某些概率分布，得到这样的样本集很困难，因此本篇我们将介绍马尔可夫链来解决这种问题。 1.马尔可夫链简介马尔可夫链定义比较简单，它假设某一时刻...

2018-12-03 09:38:05 392 0

原创 MCMC之蒙特卡罗方法

1.MCMC简介 **马尔可夫链蒙克卡罗(Markov Chain Monte Carlo,MCMC)**是一种随机采样方法，在机器学习、深度学习及自然语言处理等领域都有广泛的应用，是很多复杂算法求解的基础，例如受限玻尔兹曼机(RBM)便是用MCMC来做一些复杂算法的近似求解。在具体讲解什么是MC...

2018-12-01 23:53:17 1055 0

原创 LSTM神经网络之前向反向传播算法

上篇文章我们已经学习了循环神经网络的原理，并指出RNN存在严重的梯度爆炸和梯度消失问题，因此很难处理长序列的数据。本篇文章，我们将学习长短期记忆网络(LSTM,Long Short Term Memory)，看LSTM解决RNN所带来的梯度消失和梯度爆炸问题。 1.从RNN到LSTM RNN模型具...

2018-11-15 21:43:57 878 1

原创循环神经网络之前向反向传播算法

前面我们已经介绍了深度神经网络和卷积神经网络，这些算法都是前向反馈，模型的输出和模型本身没有关联关系。今天我们学习输出和模型间有反馈的神经网络，循环神经网络(Recurrent Neual Networks)，其广泛应用于自然语言处理中的语音识别，书写识别和机器翻译等领域。 1.RNN简介前面介...

2018-11-04 17:23:32 975 0

原创卷积神经网络之反向传播算法

前面已经推导学习了卷积神经网络之前向传播算法，本篇文章将推导卷积神经网络之反向传播算法。在学习卷积神经网络算法之前，希望你对深度神经网络有一定程度的了解，我在之前也有写过相关的文章，包括深度神经网络之前向传播算法、深度神经网络之反向传播算法、深度神经网络之损失函数和激活函数、深度神经网络之正则化，...

2018-10-21 21:11:28 2061 0

原创卷积神经网络之前向传播算法

0.杂谈本来个人是准备毕业直接工作的，但前段时间学校保研大名单出来之后，发现本人有保研机会，于是就和主管请了几天假，回学校准备保研的事情。经过两天的准备，也是非常幸运，成功拿到本院的保研名额。明确得到保研名额的时候已经是9月18号，然而国家推免系统开放时间是9月28号，也就是说我只还有10天时间...

2018-10-20 21:08:40 3553 0

原创进程、线程、锁的概念

大雾！可以说很大意啦！上周五终于改好bug，想着把代码同步到个人GitHub上面，就随手git push同步到远程。然而万万没想到，之前touch过一个information.txt文件，里面记录着一些服务器信息，然后也跟着同步到远程仓库去啦。等到周一，敏感信息被公司检测出来，通知删除。可...

2018-08-28 20:17:31 993 0

原创基于google protobuf的gRPC实现(python版)

1.Protobuf简介 Google Protocol Buffers简称Protobuf，提供一种灵活、高效、自动化的机制，用于序列化结构数据。Protobuf仅需自定义一次所需要的数据格式，然后我们就可以使用Protobuf编译器自动生成各种语言的源码，方便我们读写自定义的格式化数据。另外...

2018-08-14 20:41:32 1676 1

原创 Linux常用命令

1.常用指令 ls显示文件或目录 -l列出文件详细信息(list) -a列出当前目录下所有文件及目录，包含隐藏的a(all) mkdir创建目录 -p创建目录，若无父目录，则创建p（parent） cd切换目录 ...

2018-08-14 11:30:14 119 0

原创《剑指Offer》Python版

1.二维数组中的查找题目：在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。思路：遍历每一行，查找该元素是否在该行之中。 # -*- cod...

2018-08-06 11:59:30 8199 4

原创深度神经网络之正则化

1.正则化之前介绍的文章之中，我们已多次接触到正则化方法，但没有详细的解释为什么要正则化，什么是正则化，以及L1正则化和L2正则化的区别。本次文章之中，我们将详解机器学习中正则化的概念和深度神经网络中的正则化方法。 1.1 为什么要正则化？讲到为什么需要正则化，就需要了解什么是过拟合...

2018-07-04 11:11:36 11465 1

原创深度神经网络之损失函数和激活函数

1.损失函数和激活函数简介通过前面深度神经网络之前向传播算法和深度神经网络之反向传播算法的学习，我们能够了解到损失函数是用来评估模型的预测值与真实值之间的差异程度。另外损失函数也是神经网络中优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数越小，说明模型的预测值就越接...

2018-06-30 18:35:16 14876 0

原创深度神经网络之反向传播算法

1.DNN反向传播算法简介回顾我们前面学到的监督问题，通常会遇到这种情况，假如有mmm个训练样本，分别为{(x1,y1),(x2,y2),(x3,y3),...,(xm,ym)}{(x1,y1),(x2,y2),(x3,y3),...,(xm,ym)}\{(x_1,y_1),(x_2,y_2)...

2018-06-28 16:05:50 1160 0

原创深度神经网络之前向传播算法

1.深度神经网络简介深度神经网络(Deep Neural Networks,DNN)从字面上理解，也就是深层次的神经网络，从网络结构上看来就是有多个隐含层的神经网络。深度神经网络不仅能够用于分类和回归，在降维、聚类、语音识别、图像识别方面也有许多应用。由于神经网络内容较多，将分多次写作，本次主...

2018-06-27 16:20:50 605 0

2018-06-13 16:09:38 2447 0

原创网店工商信息图片文字提取

首先非常抱歉，最近一段时间由于学校课程作业较多，外加个人较懒，所以一直没有更新文章，以后一定会勤奋点，多加更新。正如前几天在stormzhang**(张哥)**的公众号里看到的一样，写作其实并不难，每个人都可以做到，但是长期坚持写作就非常难，这也是写作者想要长期创作遇到的第一个大问题，所以贵在坚持...

2018-06-11 10:41:32 1824 1

原创机器学习之Apriori算法

1.Apriori算法简介 Apriori算法是常用于挖掘出数据关联规则的算法，能够发现事物数据库中频繁出现的数据集，这些联系构成的规则可帮助用户找出某些行为特征，以便进行企业决策。例如，某食品商店希望发现顾客的购买行为，通过购物篮分析得到大部分顾客会在一次购物中同时购买面包和牛奶，那么该商店便...

2018-05-18 17:28:55 7297 0

原创机器学习之朴素贝叶斯算法

1.朴素贝叶斯简介朴素贝叶斯(Naive Bayesian)算法能够根据数据加先验概率来估计后验概率，在垃圾邮件分类、文本分类、信用等级评定等多分类问题中得到广泛应用。对于多数的分类算法，比如决策树、KNN等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系。但朴素贝叶斯和多数分...

2018-05-15 23:05:49 235 0

原创机器学习之K近邻(KNN)算法

1.KNN简介 K近邻(K-Nearest Neighbors, KNN)算法既可处理分类问题，也可处理回归问题，其中分类和回归的主要区别在于最后做预测时的决策方式不同。KNN做分类预测时一般采用多数表决法，即训练集里和预测样本特征最近的K个样本，预测结果为里面有最多类别数的类别。KNN做回归预...

2018-05-13 21:22:17 2277 0

原创机器学习之K均值(K-Means)算法

1.K-Means简介 K均值(K-Means)算法是无监督的聚类方法，实现起来比较简单，聚类效果也比较好，因此应用很广泛。K-Means算法针对不同应用场景，有不同方面的改进。我们从最传统的K-Means算法讲起，然后在此基础上介绍初始化质心优化K-Means++算法，距离计算优化Elkan ...

2018-05-12 17:50:41 4375 0

原创机器学习之最大期望(EM)算法

1.EM算法简介最大期望(Expectation Maximum)算法是一种迭代优化算法，其计算方法是每次迭代分为期望(E)步和最大(M)步。我们先看下最大期望算法能够解决什么样的问题。假如班级里有50个男生和50个女生，且男生站左，女生站右。我们假定男生和女生的身高分布分别服从正态分布。...

2018-05-10 22:41:09 5673 4

原创机器学习之自适应增强(Adaboost)

1.Adaboost简介 Adaptive boosting(自适应增强)是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个强分类器，Adaboost可处理分类和回归问题。了解Adaboost算法之前，我们先学习下Boost(增强)和Adapti...

2018-05-07 09:52:52 3926 0

原创机器学习之梯度提升决策树(GBDT)

1.GBDT算法简介 GBDT(Gradient Boosting Decision Tree)是一种迭代的决策树算法，由多棵决策树组成，所有树的结论累加起来作为最终答案，我们根据其名字(Gradient Boosting Decision Tree)来展开推导过程。决策树(Decision T...

2018-05-02 16:16:06 11109 2

原创机器学习之随机森林

1.随机森林简介随机森林(Random Forest)是一个非常灵活的机器学习方法，从市场营销到医疗保险有着众多的应用。例如用于市场营销对客户获取和存留建模或预测病人的疾病风险和易感性。随机森林能够用于分类和回归问题，可以处理大量特征，并能够帮助估计用于建模数据变量的重要性。我们先了解随机森林...

2018-04-30 17:16:03 470 0

原创机器学习之分类与回归树(CART)

1.分类与回归树简介分类与回归树的英文是Classfication And Regression Tree，缩写为CART。CART算法采用二分递归分割的技术将当前样本集分为两个子样本集，使得生成的每个非叶子节点都有两个分支。非叶子节点的特征取值为True和False，左分支取值为True，右...

2018-04-25 16:23:57 603 0

原创机器学习之决策树(C4.5算法)

1.决策树简介我们已有如下所示数据集，特征属性包含天气、温度、湿度、风速，然后根据这些数据去分类或预测能否去打高尔夫球，针对此类问题你会怎么解决呢。序号天气温度湿度风速高尔夫 1 晴炎热高弱进行 2 ...

2018-04-20 18:13:12 712 0

原创 Python之Sklearn使用教程

1.Sklearn简介 Scikit-learn(sklearn)是机器学习中常用的第三方模块，对常用的机器学习方法进行了封装，包括回归(Regression)、降维(Dimensionality Reduction)、分类(Classfication)、聚类(Clustering)等方法。当我...

2018-04-15 19:49:27 81858 8

原创机器学习之SVM支持向量机（二）

1.知识回顾机器学习之SVM支持向量机（一）中我们介绍了SVM损失函数、最大间隔分类、为什么SVM能形成最大间隔分类器、核函数、SVM中Gaussian Kernel的使用知识点。上文我们从Logistic Regression损失函数中推出SVM损失函数，本篇文章我们将更加直观的分析得到SV...

2018-04-06 20:19:03 394 0

原创机器学习之SVM支持向量机（一）

我们思考这样一个问题，给两个标签，蓝色和红色点，数据有两个特征(x,y)。我们想要一个分类器，给定一对(x,y)，能找到很好的分类边界，判断是蓝色点还是红色点。对于下图的数据，我们如何解决呢。本文通过引入Support Vector Machine（SVM）算法来详解此类问题。 1.SVM损...

2018-04-03 11:04:08 219 0

原创机器学习之Logistic回归

1.Logistic回归简介线性回归能够找到一个假设函数来估计原函数，从而根据特征变量来得到假设值，但线性回归模型不能达到分类的效果。在线性回归的基础上，我们将假设值和概率结合得到分类器，达到分类的效果。虽然Logistic回归是回归模型，但在实际项目中我们经常用于分类问题。 2.Sig...

2018-03-29 09:37:44 250 2