- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 word2vec源码分析
word2vec源码下载地址：https://github.com/tmikolov/word2vec本文对word2vec源码进行分析，在源码中进行了注释。在阅读源码之前，建议先阅读以下两篇博文，加深对word2vec的理解。《word2vec中的数学原理详解》《word2vec数学分析》以下给出word2vec源码和注释：// Copyright 2013 Google...
2018-12-29 09:06:14
852
原创 全连接神经网络的梯度反向传播
我们通过以下示例来理解梯度反向传播。假设全连接神经网络如下图1所示，其中有2个隐含层，输入层的神经个数为2，第1层的神经元个数为3，第2层的神经元个数为3，输出层的神经元个数为2，激活函数为f(⋅)f(\cdot)f(⋅)，第1层和第2层有激活函数操作，输出层没有激活函数操作，权重和偏置均为未知数。假设该全连接神经网络有一个输入[2, 3]，根据前馈全连接神经网络的计算方式，可以计算出每一...
2018-12-29 00:07:23
2250
1
原创 word2vec数学分析
一、CBOW 记： 1、pwp^wpw：从根节点出发，到达www的路径； 2、lwl^wlw：路径pwp^wpw包含节点的个数； 3、p1w,p2w,⋯ ,plwwp_1^w, p_2^w, \cdots, p_{l^w
2018-12-28 23:50:20
384
原创 机器学习：信息熵理解
如果说概率是对事件确定性的度量、那么信息（包括信息量和信息熵）就是对事物不确定性的度量。信息熵是由香农（C.E.Shannon）在1948年发表的论文《通信的数据理论（A Mathematical Theory of Communication）》中提出的概念。他借用热力学中热熵的概念（热熵是表示分子状态混乱程度的物理量），解决了对信息的量化度量问题，也常用来对不确定性进行度量。信息量...
2018-12-24 03:36:45
1489
转载 word2vec中的数学原理详解
word2vec是Google于2013年开源推出的一个用于获取word vector的工具包，它简单、高效，因此引起了很多人的关注。由于word2vec的作者Tomas Mikolov在两篇相关的论文 [3, 4] 中并没有谈及太多算法细节，因而在一定程度上增加了这个工具包的神秘感。一些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟。 第一次接触word2vec是2013年...
2018-12-22 13:46:20
1379
转载 决策树---信息增益，信息增益比，基尼指数的理解
一、决策树 决策树是表示基于特征对实例进行分类的树形结构。 从给定的训练数据集中，依据特征选择的准则，递归的选择最优划分特征，并根据此特征将训练数据进行分割，使得各子数据集有一个最好的分类的过程。 决策树算法3要素： （1）特征选择 （2）决策树生成 （3）决策树剪枝 关于决策树生成： 决策树的生成过程就是 使用满足划分准则的特征不断...
2018-12-21 23:15:21
4059
转载 梯度下降算法
转 一文看懂常用的梯度下降算法 2017年11月29日 00:00:00 JeemyJohn 阅读数：68295 作者：叶&n...
2018-12-20 23:40:20
2089
转载 拉格朗日乘子与KKT条件
引言 本篇文章将详解带有约束条件的最优化问题，约束条件分为等式约束与不等式约束，对于等式约束的优化问题，可以直接应用拉格朗日乘子法去求取最优值；对于含有不等式约束的优化问题，可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解，只有在凸优化的情况下，才能保证得到的是最优解，所以本文称拉格朗日乘子法得到的为可行解，其实就是局部极小值，接下来从无约束优化开...
2018-12-19 23:45:25
393
转载 机器学习：PCA算法分析
数据的向量表示及降维问题 1）高维特征的降维，以提高运算速度 2）白化对特征预处理，以去除特征之间的相关性，这是很多算法的预处理步骤向量的表示及基变换 两个维数相同的向量的内积被定义为：(a1,a2,...,an)⋅(b1,b2,...,bn)T=a1b1+a2b2+...+anbn(a_1, a_2, ..., a_n) \cdot (b_1, b_2, ..., b...
2018-12-19 23:42:06
335
转载 极大似然估计
贝叶斯决策 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式： P(w∣x)=P(x∣w)P(w)))P(x))P(w|x) = \frac{P(x|w)P(w)))}{P(x))}P(w∣x)=P(x))P(x∣w)P(w))) 其中： P(w)P(w)P(w)：为先验概率，表示每种类别分布的概率； P(x∣w)P(x|w)P(x∣w)：为类条件概率，表示...
2018-12-19 04:22:31
184
转载 排序算法：基数排序
一、前言 基数排序是一种非比较型整数排序算法，其原理是将整数按位数切割成不同的数字，然后按每个位数分别比较。由于整数也可以表达字符串（比如名字或日期）和特定格式的浮点数，所以基数排序也不是只能使用于整数。二、算法思想 基本思想：将所有待比较数值（正整数）统一为同样的数位长度，数位较短的数前面补零。然后，从最低位开始，依次进行一次排序。这样从最低位排序一直到最高位排序完成以后,数...
2018-12-18 20:55:33
384
转载 排序算法：归并排序
一、前言 归并排序是建立在归并操作上的一种有效的排序算法，该算法是采用 分治法（Divide and Conquer） 的一个非常典型的应用。二、算法思想 该算法采用经典的分治（divide-and-conquer）策略（分治法将问题分(divide)成一些小的问题然后递归求解，而治(conquer)的阶段则将分的阶段得到的各答案"修补"在一起，即分而治之)。 动态效果...
2018-12-17 22:27:42
230
1
转载 排序算法：堆排序
一、前言 堆排序是一种选择排序。 选择排序：每趟从待排序的记录中选出关键字最小的记录，顺序放在已排序的记录序列末尾，直到全部排序结束为止。二、算法思想 堆排序是利用堆的性质进行的一种选择排序。 动态效果示意图： 堆是一棵顺序存储的完全二叉树。 （1）其中每个结点的关键字都不大于其孩子结点的关键字，这样的堆称为小根堆。 ...
2018-12-16 21:30:20
539
1
转载 排序算法：简单选择排序
一、前言 简单选择排序是一种选择排序。 选择排序：每趟从待排序的记录中选出关键字最小的记录，顺序放在已排序的记录序列末尾，直到全部排序结束为止。二、算法思想 简单排序很简单，它的大致处理流程为： 从待排序序列中，找到关键字最小的元素； 如果最小元素不是待排序序列的第一个元素，将其和第一个元素互换； 从余下的 N - 1 个元素中，找出关键字最小的...
2018-12-13 20:39:09
685
转载 排序算法：快速排序
一、前言 快速排序是一种交换排序，它由C. A. R. Hoare在1962年提出。二、算法思想 快速排序的基本思想是：通过一趟排序将要排序的数据分割成独立的两部分：分割点左边都是比它小的数，右边都是比它大的数。 然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。 动态效果示意图： 详细的图解往往比大...
2018-12-12 20:41:54
280
转载 排序算法：希尔排序
一、前言 希尔(Shell)排序又称为缩小增量排序，它是一种插入排序。它是直接插入排序算法的一种威力加强版。 希尔排序，也称递减增量排序算法，以其设计者希尔（Donald Shell）的名字命名，该算法由 1959 年公布。二、算法思想 我们举个例子来描述算法流程（以下摘自维基百科）： 假设有这样一组数 {13, 14, 94, 33, 82, 25, 59, ...
2018-12-11 22:13:22
210
转载 排序算法：直接插入排序
一、前言 直接插入排序（Insertion Sort）序是一种最简单的插入排序。为简化问题，我们下面只讨论升序排序。二、算法思想 插入排序：每一趟将一个待排序的记录，按照其关键字的大小插入到有序队列的合适位置里，知道全部插入完成。 动态效果示意图： 以上的过程，其实就是典型的直接插入排序，每次将一个新数据插入到有序队列中的合适位置里。 很简单吧...
2018-12-10 20:41:00
339
转载 排序算法：冒泡排序
一、前言 冒泡排序是一种交换排序。 什么是交换排序呢？ 答曰：两两比较待排序的关键字，并交换不满足次序要求的那对数，直到整个表都满足次序要求为止。二、算法思想 它重复地走访要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。 这个算法的名字由来是因为越小的元素会经由...
2018-12-09 22:08:07
253
转载 五大常用算法之三：贪心算法
一、基本概念： 所谓贪心算法是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。 贪心算法没有固定的算法框架，算法设计的关键是贪心策略的选择。必须注意的是，贪心算法不是对所有问题都能得到整体最优解，选择的贪心策略必须具备无后效性，即某个状态以后的过程不会影响以前的状态，只与当前状态有关。 所以对所采...
2018-12-06 21:47:06
341
转载 五大常用算法之二：动态规划算法
一、基本概念 动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。二、基本思想与策略 基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能的局部解，通过决...
2018-12-05 21:00:54
278
转载 五大常用算法之一：分治算法
一、基本概念 在计算机科学中，分治法是一种很重要的算法。字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。这个技巧是很多高效算法的基础，如排序算法(快速排序，归并排序)，傅立叶变换(快速傅立叶变换)…… 任何一个可以用计算机求解的问题所需的计算时间都与其规...
2018-12-04 21:52:57
297
原创 CentOS 7搭建Spark 2.3.2集群
一、服务器集群服务器安装内容node-iscala-2.12.7; spark-2.3.2node-iiscala-2.12.7; spark-2.3.2node-iiiscala-2.12.7; spark-2.3.2node-ivscala-2.12.7; spark-2.3.2二、安装scala从https://www.scala-la...
2018-11-11 22:50:26
799
原创 CentOS 7部署Hive 3.1.0
一、环境软件版本Hadoop3.1.1Hive3.1.0MySQL8.0.11JDK1.8二、安装Hive从http://hive.apache.org/downloads.html下载Hive 3.1.0，并安装到/usr/local/hive目录下。执行如下命令：mkdir -p /usr/local/hivetar -zxvf ap...
2018-11-11 22:42:55
1165
原创 CentOS 7 搭建kafka_2.12-2.0.0集群
一、服务器集群 kafka集群把状态保存在zookeeper中，在搭建kafka集群前先搭建zookeeper集群。 zookeeper集群搭建可参考：https://blog.csdn.net/sealir/article/details/82696228。 kafka集群节点：192.168.0.24，192.168.0.48，192.168.0.60二、搭建...
2018-09-26 21:39:30
2249
原创 CentOS 7 搭建zookeeper 3.4.13集群
一、服务器集群服务器 安装内容 node-i(192.168.0.111) jdk1.8.0_181 zookeeper 3.4.13 node-ii(192.168.0.133) jdk1.8.0_181 zookeeper 3.4.13 node-iii(192.168.0.155) jdk1.8.0_181 zookeeper 3.4...
2018-09-18 21:29:02
1432
原创 CentOS 7 搭建redis 4.0.11集群
一、单节点部署redis集群1、创建redis集群目录 在同一个主机中部署三主三从的redis集群，redis节点为7001-7006。 新建redis集群目录：mkdir -p /usr/local/redis-cluster，在该目录下创建6个目录：7001-7006，分别为6个redis节点的工作目录： mkdir -p 7001 7002 7003...
2018-09-14 08:32:35
1560
原创 CentOS 7搭建Apache Hadoop 3.1.1集群
一、集群规划 集群节点为1个NameNode，1个SecondaryNameNode，3个DataNode，如下表如示： NameNode，SecondaryNameNode：NameNode，SecondaryNameNode：(192.168.0.199) 组件 版本 路径 jdk 1.8.0_181 /usr/local/java/ ...
2018-09-07 00:02:17
3208
原创 CentOS 7搭建Docker私有镜像仓库
一、环境CentOS 7.5 Linux内核 3.10.0 Docker 18.06.0-ce 二、安装Docker Registry1、配置Docker启动参数 在Docker启动参数中添加如下参数，即开放非安全端口5000，192.168.0.99是宿主机IP，重启Docker。 --insecure-registry 192.1...
2018-08-12 23:05:00
672
原创 Kubernetes 1.10.5部署dashboard监控
一、环境软件 版本 kubernetes 1.10.5 dashboard v1.8.3 二、配置dashboard.yaml 从https://raw.githubusercontent.com/kubernetes/dashboard/v1.8.3/src/deploy/recommended/kubernetes-dashboard.yaml...
2018-08-12 17:54:55
846
原创 IntelliJ IDEA安装docker插件
一、开发环境开发工具 版本 IntelliJ IDEA 2018.1.6 (Community Edition) Docker integration 181.5087.20 二、安装docker插件1、Idea内安装 打开Idea，从File->Settings->Plugins->Install JetBrains plu...
2018-07-26 09:21:23
16721
4
原创 kubernetes集群部署mysql 8.0
一、kubernetes集群 kubernetes集群安装参照https://blog.csdn.net/sealir/article/details/81070924进行安装。二、部署mysql8.0 mysql可以以docker的形式在集群内部署，也可以安装在集群之外，以服务的形式部署到集群内。 (1)、如果是在集群内部署，可以启动一个ReplicationC...
2018-07-24 09:05:54
5641
原创 CentOS 7二进制安装Kubernetes 1.10.5集群
一、集群规划 集群节点为1主2从，如下表如示： master:master:master(192.168.8.201) 组件 版本 路径 etcd 3.3.8 /usr/bin flannel 0.10.0 /opt/flannel/bin cni 0.7.1 /opt/cni/bin kubernetes...
2018-07-17 16:07:49
2453
7
原创 CentOS 7 单节点安装etcd
一、下载etcd etcd可从GitHub下载Linux版本，下载地址：https://github.com/coreos/etcd/releases二、解压 当前etcd最新版本是3.3.8。下载etcd-v3.3.8-linux-amd64.tar.gz后，执行以下命令解压 tar zxvf etcd-v3.3.8-linux-amd64.tar.gz etcd...
2018-06-21 13:37:37
6460
原创 Docker搭建Redis主从服务器
一、环境搭建 1、docker安装，请参考阿里云开发者社区镜像安装。可在阿里云开发者社区中查找或打开下面地址：https://yq.aliyun.com/articles/110806?spm=5176.8351553.0.0.12f01991aHmnyd 2、redis镜像下载，可从阿里云镜像库或Docker Hub镜像库下载，执行命令docker pull redis即可下载二、R...
2018-06-15 09:14:51
2773
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人