云计算
文章平均质量分 79
fengyun14
这个作者很懒,什么都没留下…
展开
-
私网安装Ambari实现Hadoop、Hbase等自动化安装(离线 本地源)
这几天一直尝试通过安装Ambari来实现HBASE的分布式安装,但因为是私网,而安装过程都需要yum安装(yum安装和rpm包安装的区别就是一个网上安装一个离线安装),所以调试了好几天,最终配置了本地yum源特别是操作系统本地源,才得以安装成功,记下来。我这是安装概述和注意事项原创 2015-03-23 13:42:59 · 9940 阅读 · 0 评论 -
Hadoop Spark 集群简便安装总结
Hadoop 安装简单说就是:ssh、配JAVA_HOME / HADOOP_HOME等profile参数、配 数据存放目录 / MR要用yarn 及 master是谁 。本文还提供涉及到的文件下载。原创 2015-07-05 02:03:48 · 8800 阅读 · 0 评论 -
spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)
spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)原创 2015-12-11 23:26:49 · 13088 阅读 · 0 评论 -
我的kafka JAVA调试代码
kafka 是很好的供所有分析库从生产库多次提取数据的中转库,特别是kafka 0.9后出现的kafka connect,个人认为能作为实时的ETL工具。另外,kafka和storm都是流,但kafka不处理数据,storm可在kafka的基础上处理数据。storm在原理上和hadoop的mapreduce差不多,都有map reduce的过程,只是hadoop处理完一次MR后,就会结束,但storm不会结束,除非手动kill。个人认为,对于每次都是处理结构化数据的工作,可以不用storm。下面是kaf原创 2016-06-23 22:04:28 · 2041 阅读 · 0 评论 -
我的SPARK调试java代码
仅供自己参考,其他人可能看不懂。import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.mllib.rdd.RandomRDD;import or原创 2016-06-23 21:53:58 · 1109 阅读 · 0 评论