- 博客(8)
- 资源 (13)
- 收藏
- 关注
转载 Akka 学习笔记
容错容错:不是抓住系统所有的错误并恢复,而是将错误(崩溃)孤立出来,不会导致整个系统崩溃(隔离故障组件),备份组件可以替换崩溃组件(冗余)(可恢复性) 容错方式:Restart, Resume, Stop, Escalate let it crash原则 崩溃原因:网络,第三方服务,硬件故障 Akka容错:分离业务逻辑(receive)和容错逻辑(supervisorStr
2016-02-29 15:08:03 4630
原创 Akka Cluster原理与应用
Akka集群原理Akka集群支持去中心化的基于P2P的集群服务,没有单点故障(SPOF)问题,它主要是通过Gossip协议来实现。对于集群成员的状态,Akka提供了一种故障检测机制,能够自动发现出现故障而离开集群的成员节点,通过事件驱动的方式,将状态传播到整个集群的其它成员节点。状态转移与故障检测Akka内部为集群成员定义了一组有限状态(6种状态),并给出了
2016-02-27 22:56:10 2944 1
转载 Spark 1.6发布的新功能
2016年1月5日,Databricks宣布发布Apache Spark 1.6! 这也是开源社区开发的一个里程碑,2015年代码贡献者达到1000人,是2014一整年的两倍,见下图。接下来揭开Spark 1.6新发布的功能。Spark 1.6包含了超过1000个patches,在这里主要展示三个方面的主题:新的Dataset API,性能提升(读取 Parquet 50%
2016-02-19 17:07:37 519
转载 Project Tungsten:让Spark将硬件性能压榨到极限
本文编译自Databricks Blog(Project Tungsten: Bringing Spark Closer to Bare Metal),作者Reynold Xin(@hashjoin)、Josh Rosen。由七牛云存储技术总监陈超(@CrazyJvm)友情审校。以下为原文:在之前的博文中,我们回顾和总结了2014年Spark在性能提升上所做的努力。本篇博文
2016-02-19 17:03:03 499
转载 JVM 自定义的类加载器的实现和使用
1、用户自定义的类加载器:要创建用户自己的类加载器,只需要扩展java.lang.ClassLoader类,然后覆盖它的findClass(String name)方法即可,该方法根据参数指定类的名字,返回对应的Class对象的引用。findClassprotected Class findClass(String name) thro
2016-02-18 14:26:04 398
转载 DeepID算法实践
DeepID实践转载请注明:http://blog.csdn.net/stdcoutzyx/article/details/45570221好久没有写博客了,I have failed my blog. 目前人脸验证算法可以说是DeepID最强,本文使用theano对DeepID进行实现。关于deepid的介绍,可以参见我这一片博文 DeepID之三代。当然DeepID最强
2016-02-17 17:50:20 711
转载 解读Java Class文件格式
1.目的大型软件系统开发时,某些Java组件可能涉及到多种数据库或中间件系统的连接和应用,例如一个数据传递组件需要从DB2中读取数据,并将数据通过中间件WebSphere MQ发送到其他系统,这类组件功能单一,但却需要连接多种第三方产品,使得程序员的单元测试变的非常不便,程序员不得不注视或修改部分源代码,或者在本地安装所需第三方产品。无疑这两种选择都是痛苦的。基于以上的不便,本文开发了
2016-02-15 11:34:02 418
原创 支付宝支付
处理支付宝请求: /** * 处理支付宝请求 * * @param tradeNo * @param amt * @param request * @return * @throws IOException */ private Map dealAliPay(String tradeNo, Double amt) throws IOException {
2016-02-01 15:09:16 838
hadoop-cdh4.6配置文件
2014-05-02
ext2Spring
2013-11-23
hadoopDemo-mapreduce
2013-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人