Soul Joy Hub

但行好事,莫问前程。

安全知识&kerberos初识

问题一 kinit alice beeline -u “jdbc:hive2://baogang2:10000/default;principal=hive/baogang2@TDH” 请问这个beeline连接到inceptor中之后,当前用户是谁?principal=h...

2016-07-31 18:05:47

阅读数 1567

评论数 0

Holodesk VS CarbonData

总概Holodesk应用场景 增强在交互分析中Ad-hoc query的高效性 支持流应用insert & update & delete CarbonData应用场景 支持 big scan & 少列结果 支持在亚秒级响应主键查找 支持大数据上涉及一个query中有许多过...

2016-07-24 20:31:57

阅读数 1782

评论数 0

Apache CarbonData :一种为更加快速数据分析而生的新Hadoop文件版式

http://blog.csdn.net/u011239443/article/details/52015680github:https://github.com/apache/incubator-carbondata 参考: 陈亮,华为:《Spark+CarbonData(New File F...

2016-07-24 19:35:30

阅读数 5833

评论数 0

Kafka初识

问题一 写出增加Kafka的Partition命令 bin/kafka-add-partitions.sh --topic test --partition 2 --zookeeper 192.168.197.170:2181,192.168.197.171:2181问题二 列出配置K...

2016-07-24 18:10:47

阅读数 523

评论数 0

yarn初识

用自己的话表述YARN和MR之间的区别和联系 YARN是一个资源管理和作业框架,MR是计算框架 但。MR1中,JobTracker作为核心,管理集群中的每一台机器以及所有的job分配,需要很大的资源消耗,并存在单点故障。MR2以YARN作为资源和作业管理系统,把JobTracker所做的工作拆成...

2016-07-17 20:55:38

阅读数 623

评论数 0

Hbase初识

模块 hmaster、hregionserver、zookeeper、hregion、root表、meta表、hfile、hstore、memstore、blockcachehmaster 启动时HRegion的分配,以及负载均衡和修复时HRegion的重新分配。 监控集群中所有HRegio...

2016-07-16 23:11:07

阅读数 773

评论数 0

HDFS safemode

问题一 HDFS在什么情况下会进入safemode?safemode是怎样一种工作模式?namenode所使用的存放editlog和fsimage的目录满了的时候(分区满,无空间) namenode 启动过程中(仅仅启动过程中),如果数据块汇报数量不够,就会在safemode中(不是副本数哦,...

2016-07-14 14:17:53

阅读数 557

评论数 0

【Spark Mllib】决策树,随机森林——预测森林植被类型

http://blog.csdn.net/u011239443/article/details/51858825数据集处理import org.apache.spark.mllib.linalg._ import org.apache.spark.mllib.regression._ val ra...

2016-07-08 11:09:33

阅读数 4818

评论数 0

Spark异常处理与调优(更新中~)

资源调优 http://blog.csdn.net/u011239443/article/details/52127689 内存 Memory Tuning,Java对象会占用原始数据2~5倍甚至更多的空间。最好的检测对象内存消耗的办法就是创建RDD,然后放到cache里面去,然后在UI...

2016-07-04 20:54:22

阅读数 10133

评论数 0

Hadoop异常合集(更新中~)

java.io.FileNotFoundException: File file does notError LogException in thread "main" java.io.FileNotFoundException: File file:/root/tpcds/g...

2016-07-04 20:43:15

阅读数 3858

评论数 2

一句SQL,判断char列的值是否组成回文字符串

Table t has 2 columns: id INT; value CHAR(1); Column id starts from 0, increased by 1 each row Column value is a single character string Table t...

2016-07-02 22:41:32

阅读数 738

评论数 0

提示
确定要删除当前文章?
取消 删除