- 博客(38)
- 资源 (42)
- 收藏
- 关注
转载 word2vec前世今生
2013年,Google开源了一款用于词向量计算的工具——word2vec,引起了工业界和学术界的关注。首先,word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练;其次,该工具得到的训练结果——词向量(word embedding),可以很好地度量词与词之间的相似性。随着深度学习(Deep Learning)在自然语言处理中应用的普及,很多人误以为word2vec是一种深度学习算法...
2018-01-31 19:38:03 786
转载 词嵌入(word2vec)-NNLM(Neural Network Language Model)
基本概念 词编码 向量空间子结构 One-Hot Bag of words(词袋模型) TF-IDF 语言模型 分布式表示 共现矩阵NNLM(Neural Network Language Model)神经网络语言模型 NNLM的基本思想 NNLM原理 projection layer SoftMax层 hidden layer1.基
2018-01-31 17:11:29 424
转载 How the backpropagation algorithm works
http://neuralnetworksanddeeplearning.com/chap2.html接上一篇的最后,我们要训练多层网络的时候,最后关键的部分就是求梯度啦。纯数学方法几乎是不可能的,那么反向传播算法就是用来求梯度的,用了一个很巧妙的方法。 反向传播算法应该是神经网络最基本最需要弄懂的方法了,要是反向传播方法不懂,后面基本上进行不下去。 非常推荐的是How t
2018-01-25 15:16:47 225
转载 One Class SVM, SVDD(Support Vector Domain Description)
今天给大家介绍一下one class classification以及用SVDD(support vector domain description)做one class classification。最近接触了一下one class classification,挺有意思的,和多类classification的思路还是有很大差别,比较长姿势~ 我们知道,classifica
2018-01-25 11:25:49 7615 3
转载 一文读懂遗传算法工作原理(附Python实现)
一文读懂遗传算法工作原理(附Python实现)机器之心5 个月前近日,Analyticsvidhya 上发表了一篇题为《Introduction to Genetic Algorithm & their application in data science》的文章,作者 Shubham Jain 现身说法,用通俗易懂的语言对遗传算法作了一个全面而扼要的概述,并
2018-01-17 10:30:25 1167
转载 如何通俗易懂地解释遗传算法?
作者:sjyan链接:https://www.zhihu.com/question/23293449/answer/120220974来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。大三的时候上了一门人工智能,其中有一次作业就用到了遗传算法,问题是这样的:求解函数 f(x) = x + 10*sin(5*x) + 7*cos(4*x)
2018-01-17 09:41:43 1555
转载 遗传算法入门
一.进化论知识 作为遗传算法生物背景的介绍,下面内容了解即可: 种群(Population):生物的进化以群体的形式进行,这样的一个群体称为种群。 个体:组成种群的单个生物。 基因 ( Gene ) :一个遗传因子。 染色体 ( Chromosome ) :包含一组的基因。 生存竞争,适者生存:对环境适应度高的、牛B的个体参与繁殖的机
2018-01-17 09:34:55 178
转载 非常好的理解遗传算法的例子
遗传算法的手工模拟计算示例为更好地理解遗传算法的运算过程,下面用手工计算来简单地模拟遗传算法的各 个主要执行步骤。 例:求下述二元函数的最大值: (1) 个体编码 遗传算法的运算对象是表示个体的符号串,所以必须把变量 x1, x2 编码为一种 符号串。本题中,用无符号二进制整数来表示。
2018-01-17 09:34:26 252
转载 遗传算法详解(GA)
本文是去年课题组周报中的一个专题讲解,详细讲了GA,由于是周报,所以十分详细。很适合初学者入门。文中也简单提及了模拟退火算法。文章综合参考了一些互联网资料。发博客以备忘!三:遗传算法 照例先给出科学定义: 遗传算法(Genetic Algorithm, GA)起源于对生物系统所进行的计算机模拟研究。它是模仿自然界生物进化机制发展起来的随机全
2018-01-17 09:33:56 2140
转载 模拟退火算法
一、模拟退火算法概念关于爬山算法与模拟退火,有一个有趣的比喻,为了找出地球上最高的山,一群有志气的兔子们开始想办法:方法一:兔子朝着比现在高的地方跳去。它找到了不远处的最高山峰。但是这座山不一定是珠穆朗玛峰。这就是爬山算法(或局部搜索法),它不能保证局部最优值就是全局最优值。方法二:兔子喝醉了,它随机地跳了很长时间。这期间,它可能走向高处,也可能踏入平地。但是,它渐渐清醒了
2018-01-17 09:32:05 2057 1
转载 Deep Q-Network 学习笔记(二)
一、思路Q-Learning与神经网络结合使用就是 Deep Q-Network,简称 DQN。在现实中,状态的数量极多,并且需要人工去设计特征,而且一旦特征设计不好,则得不到想要的结果。神经网络正是能处理解决这个问题,取代原来 Q 表的功能。当神经网络与Q-Learning结合使用的时候,又会碰到几个问题:1.loss 要怎么计算?增强学习是试错学习(Tr
2018-01-17 09:20:36 4912 7
转载 Deep Q-Network 学习笔记(一)
一、思路 图 1.1 这里,先自己对那个例子的理解总结一下。要解决的问题是:如上图 1.1 中有 5 个房间,分别被标记成 0-4,房间外可以看成是一个大的房间,被标记成 5,现在智能程序 Agent 被随机丢在 0-4 号 5 个房间中的任意 1 个,目标是让它寻找到离开房间的路(即
2018-01-17 08:59:20 4863
转载 多维数据查询OLAP及MDX语言学习整理
OLAP为了满足业务管理和决策的报表系统(包括传统报表、数据仓库、OLAP等)也被创建出来,企业主管通过报表了解企业的总体运行状态。但是,随着企业间竞争的加剧和市场节奏的进一步加快,企业的日常管理需要对关键业务指标的更加实时的监控和反馈。比如:制造业需要更及时的仓库调度、金融业需要更实时的风险防范、电信业需要更及时的服务指标监控。于是,越来越多的企业提出实时企业的要求,传统的ERP等信
2018-01-16 13:51:38 4765
转载 数据立方体
数据立方体(Cube) 如上图所示,这是由三个维度构成的一个OLAP立方体,立方体中包含了满足条件的cell(子立方块)值,这些cell里面包含了要分析的数据,称之为度量值。显而易见,一组三维坐标唯一确定了一个子立方。 多位模型的基本概念介绍: 立方体:由维度构建出来的多维空间,包含了所有要分析的基础数据,所有的聚合数据操作都在立方体上进行
2018-01-16 13:30:47 4500
转载 浅谈数据仓库建设中的数据建模方法
简介: 本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型,而是将笔者在数据仓库建设项目中的一些经验,在这里分享给大家。希望帮助大家在数据仓库项目建设中总结出一套能够合乎目前业界规范的,满足大部分行业数据仓库建设标准的一种方法。所谓水无定势,兵无常法。不同的行业,有不同行业的特点,因此,从业务角度看,其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和
2018-01-16 11:27:52 315
转载 星型模型和雪花型模型比较
一、概述在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“ 事实表”上时,整个图解就像星星一样,故将该模型称为星型模型,如图 1 。星型架构是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连接,不存在渐变维度,
2018-01-16 11:25:37 269
转载 强化学习系列之九:Deep Q Network (DQN)
文章目录 [隐藏]1. 强化学习和深度学习结合2. Deep Q Network (DQN) 算法3. 后续发展3.1 Double DQN3.2 Prioritized Replay3.3 Dueling Network4. 总结强化学习系列系列文章 我们终于来到了深度强化学习。1. 强化学习和深度学习结合
2018-01-16 10:45:34 3520
转载 强化学习系列之六:策略梯度
文章目录 [隐藏]1. 策略参数化2. 策略梯度算法2.1 MC Policy Gradient2.2 Actor-Critic3. 为什么要有策略梯度4. 总结强化学习系列系列文章 上一篇文章介绍价值函数近似,用模型拟合价值函数。这篇文章我们介绍梯度策略,用模型直接拟合策略。 1. 策略参数化
2018-01-16 10:35:16 1787
转载 强化学习系列之五:价值函数近似
目前,我们已经介绍了一些强化学习的算法,但是我们无法在实际问题中运用这些算法。 为什么呢?因为算法估算价值函数 (v(s)) 或者 (q(s,a)),保存这些价值函数意味着保存所有状态。而实际问题中,状态的数目非常巨大,遍历一遍的事情就别想了。比如,围棋的状态总数是(3^{19}),听说比宇宙的总原子数还多,23333。解决这个问题的方法是抽特征。对于一个状态 s, 我们抽取一些
2018-01-16 10:31:37 2069
转载 强化学习系列之四:模型无关的策略学习
文章目录 [隐藏]1. 一些前置话题2. MC Control3. SARSA4. Q Learning5. 做点实验5.1. 算法稳定性5.2. 贪婪策略的影响5.3. 不同算法的效果对比6. 总结强化学习系列系列文章 模型无关的策略学习,是在不知道马尔科夫决策过程的情况下学习到最优策略。模型无关的策略学习主要有三
2018-01-16 10:27:54 880
转载 强化学习系列之三:模型无关的策略评价
文章目录 [隐藏]1. 蒙特卡罗算法2. 时差学习算法3. 一个例子4. 总结强化学习系列系列文章 上一章我们介绍了模型相关 (Model-based) 的强化学习。从现在开始我们要介绍模型无关 (Model-free) 的强化学习。 由于模型无关的强化学习比较复杂,今天先介绍其中一部分——模型无关的策略评价。模型无关的策略评价是
2018-01-16 10:17:01 1421
转载 强化学习系列之二:模型相关的强化学习
文章目录 [隐藏]1. 策略迭代1.1 策略评估1.2 策略改进2. 价值迭代3. 总结性结尾(好魔性的标题)强化学习系列系列文章 上一章我们介绍了强化学习的基本假设——马尔科夫决策过程 (Markov Decision Process)。本文将介绍模型相关的强化学习算法。 有的时候,我们完全知
2018-01-16 09:51:17 1397
转载 强化学习系列之一:马尔科夫决策过程
文章目录 [隐藏]1. 马尔科夫决策过程2. 策略和价值3. 最优策略存在性和贝尔曼等式强化学习系列系列文章 机器学习一共有三个分支,有监督学习、无监督学习和强化学习。强化学习是系统从环境学习以使得奖励最大的机器学习。强化学习和有监督学习的不同在于教师信号。强化学习的教师信号是动作的奖励,有监督学习的教师信号是正确的动作。
2018-01-15 17:19:37 1869
转载 增强学习(五)----- 时间差分学习(Q learning, Sarsa learning)
增强学习(五)----- 时间差分学习(Q learning, Sarsa learning)接下来我们回顾一下动态规划算法(DP)和蒙特卡罗方法(MC)的特点,对于动态规划算法有如下特性:需要环境模型,即状态转移概率PsaPsa状态值函数的估计是自举的(bootstrapping),即当前状态值函数的更新依赖于已知的其他状态值函数。相对的,蒙特卡罗方法的特点则有:
2018-01-15 10:33:23 929
转载 增强学习(四) ----- 蒙特卡罗方法(Monte Carlo Methods)
增强学习(四) ----- 蒙特卡罗方法(Monte Carlo Methods)1. 蒙特卡罗方法的基本思想蒙特卡罗方法又叫统计模拟方法,它使用随机数(或伪随机数)来解决计算的问题,是一类重要的数值计算方法。该方法的名字来源于世界著名的赌城蒙特卡罗,而蒙特卡罗方法正是以概率为基础的方法。一个简单的例子可以解释蒙特卡罗方法,假设我们需要计算一个不规则图形的面积,那么图形的不规则
2018-01-15 10:32:34 337
转载 增强学习(三)----- MDP的动态规划解法
增强学习(三)----- MDP的动态规划解法上一篇我们已经说到了,增强学习的目的就是求解马尔可夫决策过程(MDP)的最优策略,使其在任意初始状态下,都能获得最大的Vπ值。(本文不考虑非马尔可夫环境和不完全可观测马尔可夫决策过程(POMDP)中的增强学习)。那么如何求解最优策略呢?基本的解法有三种:动态规划法(dynamic programming methods)蒙特卡罗
2018-01-15 10:32:02 276
转载 增强学习(二)----- 马尔可夫决策过程MDP
1. 马尔可夫模型的几类子模型大家应该还记得马尔科夫链(Markov Chain),了解机器学习的也都知道隐马尔可夫模型(Hidden Markov Model,HMM)。它们具有的一个共同性质就是马尔可夫性(无后效性),也就是指系统的下个状态只与当前状态信息有关,而与更早之前的状态无关。马尔可夫决策过程(Markov Decision Process, MDP)也具有
2018-01-15 10:31:10 379
转载 神经网络图灵机
Alex Graves gravesa@google.comGreg Wayne gregwayne@google.comIvo Danihelka danihelka@google.comGoogle DeepMind, London, UK摘要本文通过引入一个使用注意力程序进行交互的外部存储器(external memory)来增强神经网络的能力。新系统可以与图
2018-01-12 10:49:03 1735
转载 详解Python中的下划线
本文将讨论Python中下划线(_)字符的使用方法。我们将会看到,正如Python中的很多事情,下划线的不同用法大多数(并非所有)只是常用惯例而已。单下划线(_)通常情况下,会在以下3种场景中使用:1、在解释器中:在这种情况下,“_”代表交互式解释器会话中上一条执行的语句的结果。这种用法首先被标准CPython解释器采用,然后其他类型的解释器也先后采用。
2018-01-11 17:18:09 235
转载 信息论:熵与互信息
http://blog.csdn.net/pipisorry/article/details/51695283这篇文章主要讲:熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexit
2018-01-05 11:25:25 968
转载 Essentials of Deep Learning : Introduction to Long Short Term Memory
https://www.analyticsvidhya.com/blog/2017/12/fundamentals-of-deep-learning-introduction-to-lstm/IntroductionSequence prediction problems have been around for a long time. They are consider
2018-01-04 17:07:32 581
转载 Fundamentals of Deep Learning – Introduction to Recurrent Neural Networks
https://www.analyticsvidhya.com/blog/2017/12/introduction-to-recurrent-neural-networks/IntroductionLet me open this article with a question – “working love learning we on deep”, did th
2018-01-04 14:42:52 689
转载 RNN以及LSTM的介绍和公式梳理
前言好久没用正儿八经地写博客了,csdn居然也有了markdown的编辑器了,最近花了不少时间看RNN以及LSTM的论文,在组内『夜校』分享过了,再在这里总结一下发出来吧,按照我讲解的思路,理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果,比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、输出类似训练语料的文
2018-01-04 09:33:20 204
转载 GRU与LSTM总结
一、LSTM(长短期记忆网络)LSTM是一种特殊的RNN类型,一般的RNN结构如下图所示,是一种将以往学习的结果应用到当前学习的模型,但是这种一般的RNN存在着许多的弊端。举个例子,如果我们要预测“the clouds are in the sky”的最后一个单词,因为只在这一个句子的语境中进行预测,那么将很容易地预测出是这个单词是sky。在这样的场景中,相关的信息和预测的词位置之间的间隔
2018-01-03 18:48:52 5143
转载 Recurrent Neural Network系列3--理解RNN的BPTT算法和梯度消失
作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明。谢谢!这是RNN教程的第三部分。在前面的教程中,我们从头实现了一个循环神经网络,但是并没有涉及随时间反向传播(BPTT)算法如何计算梯度的细节。在这部分,我们将会简要介绍BPTT并解释它和传统的反向传播有何区别。我们也会尝试着理解梯度消失问题,这也是LSTM
2018-01-03 10:33:32 813
转载 Recurrent Neural Network系列2--利用Python,Theano实现RNN
Recurrent Neural Network系列2--利用Python,Theano实现RNN作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明。谢谢!本文翻译自 RECURRENT NEURAL NETWORKS TUTORIAL, PART 2 – IMPLEMENTING A RNN WITH
2018-01-03 10:12:38 301
转载 Recurrent Neural Network系列1--RNN(循环神经网络)概述
作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明。谢谢!本文翻译自 RECURRENT NEURAL NETWORKS TUTORIAL, PART 1 – INTRODUCTION TO RNNS 。Recurrent Neural Networks(RNNS) ,循环神经网络,是一个流行的模型,已经在许
2018-01-03 09:49:09 600
转载 交叉熵代价函数(作用及公式推导
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比,它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前,本文先简要介绍二次代价函数,以及其存在的不足。1. 二次代价函数的不足 ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时
2018-01-03 09:41:43 5128
Pro Go The Complete Guide -go语言学习最新书籍
2023-06-19
Advanced_Programming_in_the_UNIX_Environment,_3rd
2018-11-30
Deep_Learning_Quick_Reference
2018-09-01
Convex Optimization Algorithms
2018-09-01
Guide.to.Medical.Image.Analysis.Methods.and.Algorithms
2018-09-01
Python Machine Learning Machine Learning and Deep Learning
2018-03-27
Data Structures and Algorithms Using Python and C++
2018-03-27
R_for_Data_Science
2018-03-27
Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow
2018-03-17
Approximate.Dynamic.Programming.2011
2018-01-17
Swarm Intelligence Principles Advances and Applications
2018-01-13
Reinforcement Learning With Open A TensorFlow and Keras Using Python.pdf
2017-12-18
Fundamentals of Deep Learning完整非扫描版本2017
2017-12-16
Text Mining in Practice with R 2017.12
2017-12-13
Text_Mining-From_Ontology_Learning_to_Automated_Text_Processing_Applications
2017-12-13
Tensorflow 机器学习参考手册2007
2017-11-22
Spark大数据处理技术 带标签 完整版
2017-11-12
模式分类11
2016-11-07
集体编程智慧
2016-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人