2015年04月_xiao_jun_0820

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载让并发和容错更容易：Akka示例教程

让并发和容错更容易：Akka示例教程发布时间： 2014-12-18 10:14:59 　　Akka用Scala语言写成，为开发高并发、分布式和容错式应用提供了便利，对开发者隐藏了很大程度的复杂性。把Akka用好肯定需要了解比这个教程更多的内容，但是希望这里的介绍和示例能够引起你的注意并继续了解Akka。　　写并发程序很难。程序员不得不处理线程、锁和竞态条件等等，这个过程很

2015-04-22 10:19:12 1090

原创 spark sql cache table

Spark sql CachingThe shark.cache table property no longer exists, and tables whose name end with _cached are no longer automatically cached. Instead, we provide CACHE TABLE and UNCACHE TABLE stateme

2015-04-17 11:33:16 5462

转载 spark 使用中会遇到的一些问题及解决思路

7 内存溢出问题在Spark中使用hql方法执行hive语句时，由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析，并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件，导致JVM中的持久代使用较多，如果配置不当，可能引起类似于如下的OOM问题：Exception in thread "Thread-2" java.lang.

2015-04-14 10:13:24 68161 1

转载 How to Plan and Configure YARN and MapReduce 2

As part of HDP 2.0 Beta, YARN takes the resource management capabilities that were in MapReduce and packages them so they can be used by new engines. This also streamlines MapReduce to do what it d

2015-04-02 14:20:15 785

原创写了2个简单的工具脚本用来分发hdfs集群上的文件到所有节点,和远程执行命令

#!/bin/bashif [ $# != 2 ]; then echo "useage: $0 " exit 1fiCURR_PATH="$(cd "`dirname "$0"`"/; pwd)"hosts_file=$CURR_PATH"/hosts"if [ ! -f "$hosts_file" ]; then echo "$hosts_file n

2015-04-01 15:49:40 2311