2016年02月_笔尖的痕

10月 09月 08月 06月 05月 04月 03月 02月 01月

转载 Akka 学习笔记

容错容错：不是抓住系统所有的错误并恢复，而是将错误（崩溃）孤立出来，不会导致整个系统崩溃（隔离故障组件），备份组件可以替换崩溃组件（冗余）（可恢复性）容错方式：Restart, Resume, Stop, Escalate let it crash原则崩溃原因：网络，第三方服务，硬件故障 Akka容错：分离业务逻辑（receive）和容错逻辑(supervisorStr

2016-02-29 15:08:03 4569

原创 Akka Cluster原理与应用

Akka集群原理Akka集群支持去中心化的基于P2P的集群服务，没有单点故障（SPOF）问题，它主要是通过Gossip协议来实现。对于集群成员的状态，Akka提供了一种故障检测机制，能够自动发现出现故障而离开集群的成员节点，通过事件驱动的方式，将状态传播到整个集群的其它成员节点。状态转移与故障检测Akka内部为集群成员定义了一组有限状态（6种状态），并给出了

2016-02-27 22:56:10 2886 1

转载 Spark 1.6发布的新功能

2016年1月5日，Databricks宣布发布Apache Spark 1.6! 这也是开源社区开发的一个里程碑，2015年代码贡献者达到1000人，是2014一整年的两倍，见下图。接下来揭开Spark 1.6新发布的功能。Spark 1.6包含了超过1000个patches，在这里主要展示三个方面的主题：新的Dataset API，性能提升(读取 Parquet 50%

2016-02-19 17:07:37 503

转载 Project Tungsten：让Spark将硬件性能压榨到极限

本文编译自Databricks Blog（Project Tungsten: Bringing Spark Closer to Bare Metal），作者Reynold Xin（@hashjoin）、Josh Rosen。由七牛云存储技术总监陈超（@CrazyJvm）友情审校。以下为原文：在之前的博文中，我们回顾和总结了2014年Spark在性能提升上所做的努力。本篇博文

2016-02-19 17:03:03 476

转载 JVM 自定义的类加载器的实现和使用

1、用户自定义的类加载器：要创建用户自己的类加载器，只需要扩展java.lang.ClassLoader类，然后覆盖它的findClass(String name)方法即可，该方法根据参数指定类的名字，返回对应的Class对象的引用。findClassprotected Class findClass(String name) thro

2016-02-18 14:26:04 379

转载 DeepID算法实践

DeepID实践转载请注明：http://blog.csdn.net/stdcoutzyx/article/details/45570221好久没有写博客了，I have failed my blog. 目前人脸验证算法可以说是DeepID最强，本文使用theano对DeepID进行实现。关于deepid的介绍，可以参见我这一片博文 DeepID之三代。当然DeepID最强

2016-02-17 17:50:20 688

转载解读Java Class文件格式

1．目的大型软件系统开发时，某些Java组件可能涉及到多种数据库或中间件系统的连接和应用，例如一个数据传递组件需要从DB2中读取数据，并将数据通过中间件WebSphere MQ发送到其他系统，这类组件功能单一，但却需要连接多种第三方产品，使得程序员的单元测试变的非常不便，程序员不得不注视或修改部分源代码，或者在本地安装所需第三方产品。无疑这两种选择都是痛苦的。基于以上的不便，本文开发了

2016-02-15 11:34:02 405

原创支付宝支付

处理支付宝请求： /** * 处理支付宝请求 * * @param tradeNo * @param amt * @param request * @return * @throws IOException */ private Map dealAliPay(String tradeNo, Double amt) throws IOException {

2016-02-01 15:09:16 817