hadoop2.x
燃烧的岁月_
coding
展开
-
MapReduce2.0架构
原创 2016-08-08 13:53:49 · 439 阅读 · 0 评论 -
MapReduce2.0运行流程
原创 2016-08-08 14:35:27 · 966 阅读 · 0 评论 -
700多万hadoophive和spark性能测试
------------------rdd---------------val rdd = sc.textFile("hdfs://master:9000/spark/SogouQ/")rdd.cache()rdd.count()6/09/09 19:19:11 INFO scheduler.DAGScheduler: Job 1 finished: count at :2原创 2016-09-10 08:03:29 · 2074 阅读 · 0 评论 -
MapReduce On YARN
原创 2016-11-05 04:39:21 · 403 阅读 · 0 评论 -
hadoop下载地址
原创 2016-11-05 07:14:35 · 705 阅读 · 0 评论 -
hadoop 常用命令
1 start-dfs.sh2 start-yarn.sh3 start-demon.sh start datanode4 start-demon.sh start namenode5 hadoop fs -getmerge /usr/hive/warehouse/ /linux/menu //把目录下的文件合并 并下载到本地目录原创 2016-11-14 06:23:19 · 259 阅读 · 0 评论 -
hadoop 目录文件按GB显示
hadoop fs -du /user/hive/warehouse/iq_stock_tick | awk '{ sum=$1 ;dir2=$2 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s \t %s\n原创 2017-02-23 05:53:24 · 1985 阅读 · 0 评论 -
hadoop新api开发
public static void main(String[] args){ Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs(); if(otherArgs.length !=原创 2017-11-05 16:16:08 · 459 阅读 · 0 评论