- 博客(52)
- 资源 (56)
- 收藏
- 关注
翻译 世界模型【论文】
Agent可以在自己的梦境中学习吗?概述我们探索建立支撑流行强化学习环境的生成型神经网络模型,我们的世界模型可以以无监督的方式快速训练,以学习针对环境的压缩时空表示。通过使用从世界模型中提取的特征作为agent的输入,我们可以训练一个非常紧凑和简单的策略,可以解决所要求的任务,甚至可以完全在其世界模型生成的梦境中训练agent,并将此策略迁移到实际环境。介绍世界模特,来自斯科特麦...
2019-04-07 21:35:48 6537
翻译 剖析强化学习 - 第八部分
作者:Massimiliano Patacchiola在上一篇文章中,我介绍了函数逼近作为在强化学习设置中表示效用函数的方法。我们使用的简单逼近器基于特征的线性组合,并且它非常有限,因为它无法模拟复杂的状态空间(如XOR网格世界)。在这篇文章中,我将介绍人工神经网络作为非线性函数逼近器,向您展示如何使用神经网络来模拟效用函数。我将从名为Perceptron 的基本架构开始,然后转向称为多层感知...
2019-02-01 20:13:10 1215 1
原创 Neural Networks for Machine Learning Lecture 6 Quiz
Neural Networks for Machine Learning Lecture 6 Quiz每个人的题目可能有略微不同。
2018-10-28 19:31:18 527
翻译 分布式TensorFlow
通过使用多个GPU服务器,减少神经网络的实验时间和训练时间。作者:Jim Dowling说明:可以在这里找到示例的完整源代码。2017年6月8日,分布式深度学习的时代开始了。在那一天,Facebook发表了一篇paper,展示了他们将卷积神经网络(ImageNet上的RESNET-50)的训练时间从两周减少到一小时的方法,该方法使用32个服务器的256个GPU。在软件中,他们引入了一种具有非常大的...
2018-06-18 10:27:01 2908 1
翻译 解决几乎任何机器学习问题的方法
作者:Abhishek Thakur 一位数据科学家平均每天处理大量数据,有人说,超过60-70%的时间花在了数据采集、数据清理、数据整理上,使得机器学习模型可以应用于这些数据。本文重点介绍第二部分,即应用机器学习模型,包括预处理步骤。这篇文章中讨论的流水线是我参与过的一百多次机器学习竞赛的结果。必须指出,这里的讨论虽然普通,但非常有用,也存在非常复杂的方法,可供专业人员练习。我们将在这里使用py...
2018-06-03 19:10:04 3679
翻译 剖析强化学习 - 第七部分
作者:Massimiliano Patacchiola到目前为止,我们已经通过查找表(或者矩阵)表示效用函数。这种方法有一个问题,当潜在的马尔可夫决策过程很大时,有太多的状态和动作存储在内存中。此外,在这种情况下,访问所有可能的状态是非常困难的,这意味着我们无法估计这些状态的效用值。关键问题是泛化:如何产生一个只有很小子集的大状态空间的良好近似。在这篇文章中,我将向您展示如何使用特性的线性组合...
2018-05-09 22:08:30 1637
翻译 剖析强化学习 - 第六部分
作者:Massimiliano Patacchiola你好!欢迎来到“解剖强化学习”系列的第六部分。到现在我们已经了解了强化学习如何工作。然而,我们将大部分技术应用于机器人清洁示例,我决定采用这种方法的原因,是因为我认为应用于不同技术的同一个例子,可以帮助读者更好地理解从一种场景到另一种场景的变化。现在是将这些知识应用于其他问题的时候了。在下面的每一节中,我将介绍一个强化学习问题,并且将向您展...
2018-05-03 22:08:32 3211
翻译 剖析强化学习 - 第五部分
作者:Massimiliano Patacchiola正如我在上一篇中承诺的那样,我将在第五部分介绍进化算法,特别是遗传算法(GA)。如果你阅读完第四篇文章,你应该知道GA可以被认为是Actor-only的算法,这意味着他们直接在策略空间中搜索而不需要效用函数。GAs通常被认为是与强化学习分开的,实际上,GA不关注潜在的马尔可夫决策过程以及Agent在其生命周期中选择的动作。使用这些信息可以实...
2018-04-27 22:06:01 1213
翻译 剖析强化学习 - 第四部分
作者:Massimiliano Patacchiola这是“解剖强化学习”系列的第四篇。在这篇文章中,我将介绍另一组广泛用于强化学习的技术:Actor-Critic(AC)方法。我经常将AC定义为一种元技术,它使用以前的帖子中介绍的方法来学习。基于AC的算法是强化学习中最流行的方法之一。例如,Google DeepMind的一些研究人员最近推出的Deep Determinist Policy ...
2018-04-22 19:08:31 1669
翻译 剖析强化学习 - 第三部分
作者:Massimiliano Patacchiola欢迎来到“剖析强化学习”系列的第三部分。在第一篇和第二篇文章中,我们分析了动态规划和蒙特卡罗(MC)方法。第三部分要讲的强化学习技术称为时间差分(TD)方法。TD学习解决了MC学习中出现的一些问题,在第二部分的结论中我描述了这个问题之一,使用MC方法,需要等到episode结束才更新效用函数,这是一个严重的问题,因为一些应用程序可能会有很长...
2018-04-16 20:40:58 2893 3
翻译 剖析强化学习 - 第二部分
作者:Massimiliano Patacchiola欢迎来到剖析强化学习系列的第二部分。如果您顺利完成了第一部分,那么恭喜!您学会了强化学习的基础,即动态编程方法。正如我在第一部分中所承诺的那样,第二部分将深入进行无模型强化学习(用于预测和控制),对Monte Carlo(MC)方法进行概述。这篇文章与第一部分(弱)相关,我将使用相同的术语,例子和数学符号。在这篇文章中,我将结合Russel...
2018-04-07 22:18:20 1593 1
翻译 剖析强化学习 - 第一部分
作者:Massimiliano Patacchiola前言 [本文是对强化学习的介绍,适合已经有一些机器学习背景,并且懂一些数学和Python的读者。当我研究一种新算法时,我总是希望了解底层机制,从这个意义上讲,使用一种编程语言从头开始实现算法对理解算法是有帮助的。我在这篇文章中采用了这种方法,虽然需要花更长时间阅读但值得这样。我不是以英语为母语的人,所以如果你发现一些难以理解的错误句子,请在...
2018-04-05 11:36:49 2146 2
翻译 数据库优化-基准测试(五)
基准测试工具:DBT2DBT2是一个OLTP事务性能测试工具。它模拟一个批发供应商,多个职员访问数据库,更新客户信息和检查库存。 DBT2是一个TPC’s TPC-C基准测试规范的不错的实现,它是MySQL的最流行的基准测试工具之一,但它的文档很缺乏。DBT2:安装Perl模块DBT2需要的Perl模块:Statistics::DescriptiveTest::ParserTest::Repo
2015-08-01 19:10:44 965
翻译 数据库优化-基准测试(四)
基准测试工具:sysbench简述sysbench多线程基准测试工具,可以测试:文件I/O性能Scheduler性能内存分配和转换速度POSIX线程实现性能数据库服务器性能(OLTP)工具初始开发用于MySQL的性能测试,现在已经扩展到其它数据库。 获取工具的网址: https://code.launchpad.net/~sysbench-developers/sysbench/0.
2015-07-26 16:52:03 1576
翻译 数据库优化-基准测试(三)
基准测试工具基准测试工具:mysqlslap是MySQL官方提供的性能基准测试工具,通过客户端模拟工作负载。 其执行包括三个阶段: 1. 创建表结构和加载数据 2. 运行测试 3. 清理数据#例子1:--only-print 只输出SQL语句并打印 --auto-generate-sql 代表用系统自己生成的SQL脚本来测试$ mysqlslap --only-print --aut
2015-07-10 22:02:53 1059
翻译 数据库优化-基准测试(二)
如何执行基准测试测试条件–如何避免常见的错误?需要在一个真实的环境中运行基准测试。相似或相同的硬件 包括CPU、内存、网络、IO系统相同的软件配置相似的数据集大小相似的数据分布相似的访问模式 –避免查询和数据缓存 –重新构建访问的分布相当的线程数量 –多用户和多服务器记录所有信息宁可记录无用的信息也不错过重要的信息文档化所有的步骤以便于重新执行基准测试配置:硬件、软件版本
2015-07-08 21:47:54 1021
翻译 数据库优化-基准测试(一)
基准测试的目的基准测试是为了找出系统的瓶颈,包括:硬件 磁盘、内存、网络等。 操作系统 文件系统、内存管理、驱动、调度等。RDBMS SQL层、存储引擎层。Schema设计 索引、表结构、数据类型。Query Query写的不好、逻辑错误。应用程序问题系统各部分之间的交互 磁盘IO、RAM、RDBMS等。测量值 如何测量?哪里最花时间?哪个组件最忙?找出造成瓶颈的原因
2015-06-22 18:26:18 2021
翻译 Redis的冗余方案(keepalived, HAProxy, Redis Sentinel)
Redis的冗余方案(keepalived, HAProxy, Redis Sentinel)如果你在寻找Redis的冗余方案,我找到了下面的方案,我想可以来尝试一下这个方案。 「Highly Available Redis Cluster | Simplicity is the keynote of all true elegance」 首先我们来尝试下面的配置,因为这是Pacemaker作者
2015-05-02 22:47:18 7640
翻译 在Redis-Sentinel的client-reconfig-script脚本中设置VIP
在Redis-Sentinel的client-reconfig-script脚本中设置VIP当使用Redis-Sentinel做冗余时,如何以不同方式使用VIP,我认为使用client-reconfig-script脚本是一种可行方法,让我们试试。环境CentOS 6.5 x86_64redis-2.8.9-1.el6.remi.x86_64三台机器构成一个可用的Redis集群。 端口默认63
2015-05-01 09:15:27 5430
原创 产品架构重构与优化
大规模软件系统的产品周期随着产品的不断发展,复杂度不断增加,生产率(Features数量)下降,质量(Bugs)不受控制,稳定性(Fluctuation)变差,架构变得腐化。原则、模式、最佳实践和工具集架构优化原则1.单一职责2.领域内聚3.抽象接口隔离4.重用5.管理架构资产模块解耦模式1.模块重新划分表现:一个模块在领域中内聚性不强,
2014-09-23 20:48:36 2049 1
原创 MySQL的Master/Slave集群安装和配置
本文讲述MySQL的Master/Slave集群安装和配置,安装的版本是最新的稳定版本GA 5.6.19。为了支持有限的HA,我们使用Master/Slave简单的读写分离集群。有限的HA是指当Master不可用时,数据不会丢失,但在Master宕机的情况下是不可写的,必须手工处理故障。如果要支持更高的可用性,可以使用两台Master来做热切换。Master和Slave的MySQL安装是相
2014-08-25 13:56:05 1342
原创 Dubbo服务框架解析(二)
本节介绍dubbo-common,dubbo-common是公共逻辑模块,包括Util类、通用模型,是其它模块的基础。扩展机制SPISPI是扩展点的注解,标注在类型上,所有的扩展点需要通过SPI来标注。约定:在扩展类的jar包内,放置扩展点配置文件:META-INF/dubbo/接口全限定名,内容为:配置名=扩展实现类全限定名,多个实现类用换行符分隔。1)
2014-08-22 19:25:04 3781
原创 Dubbo服务框架解析(一)
公司的一个项目的分布式系统的服务管理,使用了阿里的服务框架Dubbo,因此这里准备对服务框架进行了介绍。Dubbo服务框架可以使得java分布式系统之间进行解耦,使用一个服务注册中心来统一管理服务的信息,服务提供者提供注册中心进行注册,而服务消费者可以透明地订阅和消费服务。并支持服务的路由、过滤、负载均衡等,支持多种通讯协议及NIO框架,是一个灵活性和扩展性非常棒的服务管理框架。
2014-08-19 14:52:12 2776
原创 Redis性能调优:保存SNAPSHOT对性能的影响
前一段时间,开发环境反馈,Redis服务器访问非常慢,每个请求要数秒时间,重启之后2~3天又会这样。我查看了一下Linux的性能,没有什么问题。通过# redis-cli --latency发现访问Redis确实很慢,执行info要几秒时间。里面有个参数已连接的客户端几万个,通过Redis>client list查看到很多client的age都很大,一直没有释放。于是怀疑是不是
2014-07-15 10:58:16 3021
翻译 JBoss AS 7性能调优(四)
原文:http://www.mastertheboss.com/jboss-performance/jboss-as-7-performance-tuning/page-5 Logging调优记录日志是每一个应用程序的一个重要任务,默认的配置一般只适合开发,但不适用于生产环境。您切换到生产环境时需要考虑的关键要素是:1. 选择一个合适的输出日志的处理handler。2.
2014-05-09 22:26:41 1542
翻译 JBoss AS 7性能调优(三)
原文:http://www.mastertheboss.com/jboss-performance/jboss-as-7-performance-tuning/page-4调优Web服务器线程池还有很多需要调优的地方最终影响Web服务器的性能,其中一个最重要的因素是调优HTTP线程池设置,以匹配web请求的负载。这其实是很难做到的,但可通过调优获得最佳性能。web服务器的线程数量是
2014-05-07 10:45:54 4345
翻译 JBoss AS 7性能调优(二)
调优数据库连接池建立与DBMS的JDBC连接过程可能是相当缓慢的。如果您的应用程序需要反复打开和关闭数据库连接,这可以成为一个显著的性能问题。在JBoss AS中数据源的连接池提供了一种有效的解决该问题的方法。要强调的是,当客户端关闭一个数据源的连接时,该连接返回到池中,这样可用于其它的客户端,因此,连接本身并没有关闭。打开和关闭池管理的连接的成本可以以纳秒来衡量,所以它对性能的影响无
2014-05-03 21:19:02 2941
翻译 跟踪OpenLDAP服务器性能
原文:http://prefetch.net/articles/monitoringldap.html LDAP已经成为互联网标准的目录访问协议,并且用于访问一切从DNS区域文件到用户帐户信息。随着企业和软件供应商更多地依赖于LDAP目录服务器,需要测量服务器的吞吐量和性能变得势在必行。本文将介绍可用于监视LDAP目录服务器的运行状况和性能优化的工具,并且将解释随着时间的推移ORCA如何越
2014-05-02 18:18:22 4830
转载 JCACHE规范尘埃落定
Oracle于上月宣布,JCACHE规范最终定型。JSR-107由来已久,始于2001年3月6日。经过13年的发展与演进,“Java临时缓存API”使Java拥有了与缓存系统交互的通用接口。因为JCACHE原计划包含在去年发布的Java EE 7中,Oralce曾经备受瞩目,但是由于错过“若干关键最后期限”,该JSR最终被排除在候选列表之外。根据Oracle最近对JAVA EE 8所作的调
2014-05-01 16:02:46 1329
翻译 JBoss AS 7性能调优 (一)
原文:http://www.mastertheboss.com/jboss-performance/jboss-as-7-performance-tuning 调优JBoss应用服务器虽然许多架构师和软件工程师都同意,约70-80%的应用程序的性能取决于应用程序本身的编码,配置不当的服务器环境可以显著影响你的用户体验,并最终影响到你的应用程序性能。很多配置元素,可以显著地影响你的服
2014-05-01 14:54:44 2773
原创 JBoss DataGrid的集群部署与访问
集群部署JDG的缓存模式包括本地(Local)模式和集群(Clustered)模式。本项目采用多节点的Clustered模式部署,数据在多个节点的子集间进行复制,而不是同步复制到所有的节点。使用子集复制可以提升容错的效率但对可伸缩性不会造成太大影响。在使用Clustered模式部署之前,应该配置JGroup。1. 使用UDP方式广播。l 适用于大的集群(超过100节点
2014-04-26 20:15:02 2097
转载 历史上最知名的15位计算机科学家
麻省理工学院媒体实验室推出了一个名为“Pantheon”的项目试图量化历史人物对文化的影响。 基于维基百科上超过11,000位历史人物的数据,他们创建出了一种名为“历史人气指数(HPI)”的参数。这一参数根据语言数量、页面访问量等数据得出。相较演员、运动员和艺术家,著名的技术人员仍普遍得分较低。以下列出了15个历史上最知名的计算机科学家,其中许多都是开源界的名人。我们来看一下他们的“HPI”分数。
2014-04-25 16:39:22 1036
转载 做大的艺术 - 大型网站的架构设计
(原文在这里 http://blog.sina.com.cn/s/blog_46d0a3930100euxb.html ,看了一些关于网站架构方面的文章,基本上是大同小异。也就是说,基本的原则都是一样的,而且软件也都是开源软件。但难点在于整合和运营。整合需要一些自制的工具或者根据业务定制软件;运营需要考虑数据中心建设,业务流程设计等等,不是一个简单的软件问题。从小到大的演化是一个很有意思的故事
2014-04-25 13:22:36 740
原创 缓存提供者CachingProvider
缓存提供者CachingProvider缓存提供者是Java缓存API的一个核心概念,它的作用是通过一个CachingProvider,开发者获得CacheManager,并通过CacheManager和缓存交互。通过CachingProvider可以:●获取默认的CacheManager实例。●通过唯一确定的URI为标识,创建CacheManager实例。
2014-04-22 16:39:31 4157
翻译 Berkeley DB数据库和日志文件归档
Berkeley DB数据库和日志文件归档归档数据库和日志文件目的是提供面对数据库的灾难性故障的可恢复性,最大限度地减少发生物理硬件故障导致数据丢失。首先,你可能需要定期创建数据库快照(也就是备份),以使数据有可能从灾难性故障中恢复。快照是一个标准的备份,可以创建一个和某个时间点和数据库一致的备份;或联机备份(也称为热备份),它创建是一段时间内未指定时间点的数据库备份。热备份的优点在于
2014-04-08 09:46:18 2621
原创 Java Caching JSR107介绍(五)
缓存条目Listener事件与ListenerJCache中定义了缓存事件的抽象类CacheEntryEvent,以及事件类型EventType枚举类,包括了四种事件类型,定义见下:public enum EventType { CREATED, //创建 UPDATED, //更新 REMOVED, //删除 EXPIRED //过期}这些事件将被传播到注册
2014-03-08 19:08:47 1766
原创 Redis2.8.6的Master/Slave/Sentinel安装及配置文件说明
Redis服务器安装Redis版本是2.8.6。安装步骤如下,解压和Make#tar xzf redis-2.8.6.tar.gz#cd redis-2.8.6#make创建目录并Copy文件#mkdir /etc/redis-server /var/log/redis/var/lib/redis-server /etc/redis#cp src/redis-ser
2014-02-28 16:49:03 3243 1
原创 Java Caching JSR107介绍(四)
集成javax.cache.integration包中包含集成外部资源的类。缓存数据加载Cache的loadAll方法用于从外部资源中加载数据。定义如下。void loadAll(Set keys,boolean replaceExistingValues, CompletionListenercompletionListener);对于此方法中
2014-02-23 21:12:17 2361
HBase权威指南中文版
2015-11-24
MySQL-Percona-book
2015-11-17
阿里云产品资料
2015-10-04
MYSQL性能调优工具介绍
2015-10-02
化繁为简-IBM云存储整体解决方案
2015-09-20
分布式存储的元数据设计
2015-09-12
真正的大数据云计算平台
2015-09-03
云计算资源管理平台系统培训手册
2015-09-03
The Linux-HA User’s Guide
2014-02-10
Java Application Architecture Modularity Patterns with Examples Using OSGi Part2
2014-01-06
一种准确而高效的领域知识图谱构建方法
2019-02-27
VGG16预训练模型part2
2018-05-19
VGG16预训练模型part1
2018-05-19
知识图谱:大数据语义链接的基石
2018-05-16
Learning TensorFlow A Guide to Building Deep Learning Systems
2018-05-10
Deep Learning with Hadoop
2018-05-10
探索性数据分析(EDA)PPT
2017-12-02
Reasoning Attention and Memory
2017-11-22
Deep Reinforcement Learning through Policy Optimization
2017-11-19
Recurrent Neural Networks
2017-11-18
learning to see
2017-11-16
Introduction to Reinforcement Learning
2017-11-15
Introduction to Convolutional Networks
2017-11-14
Machine Learning and Data Mining in Pattern Recognition, 9th, MLDM 2013
2016-09-28
Webinar的MySQL高性能高可用资源集合
2016-04-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人