Hadoop实战-初级部分 之 Shell

原创 2013年12月02日 09:57:53
私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程
第一部分:Hadoop Bin
后面根据项目的实际需要Hadoop Bin  包括:
Hadoop  hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
     HADOOP_HOME(hadoop的安装目录)。
     HADOOP_CONF_DIR(hadoop的配置文件目录)。HADOOP_SLAVES(--hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh
start-all.sh    启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh  启动HDFS
start-jobhistoryserver.sh
start-mapred.sh  启动MapReduce
来进行调整。
后面根据项目的实际需要Hadoop Bin  包括:
Hadoop  hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
     HADOOP_HOME(hadoop的安装目录)。
     HADOOP_CONF_DIR(hadoop的配置文件目录)。
     HADOOP_SLAVES(--hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh
start-all.sh    启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh  启动HDFS
start-jobhistoryserver.sh
start-mapred.sh  启动MapReduce
来进行调整。
stop-all.sh   停止HDFS与MapReduce
stop-balancer.sh 停止做负载均衡
stop-dfs.sh   停止HDFS
stop-jobhistoryserver.sh 停止Job追踪
stop-mapred.sh 停止MapReduce
task-controller
第二部分:Hadoop Shell 基本操作
 
nHadoop shell
  包括:    namenode -format     format the DFS filesystem
           secondarynamenode    run the DFS secondary namenode
           namenode             run the DFS namenode
           datanode             run a DFS datanode
           dfsadmin             run a DFS admin client
           mradmin              run a Map-Reduce admin client
           fsck                 run a DFS filesystem checking utility
           fs                   run a generic filesystem user client
           balancer             run a cluster balancing utility
           fetchdt              fetch  delegation token from the NameNode
           jobtracker           run the MapReduce job Tracker node
           pipes                run a Pipes job
tasktracker          run a MapReduce task Tracker node
  historyserver        run job history servers as a standalone daemon
  job                  manipulate MapReduce jobs
  queue                get information regarding JobQueues
  version              print the version
  jar <jar>            run a jar file
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
                       Hadoop jar and the required libraries
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME
 
  私塾在线学习网原创内容,转载请注明出处【 http://sishuok.com/forum/blogPost/list/5457.html 】

Hadoop实战-初级部分 之 Shell

第一部分:Hadoop Bin 后面根据项目的实际需要Hadoop Bin  包括: Hadoop  hadoop的Shell hadoop-config.sh 它的作用是对一些变量进行...
  • twlkyao
  • twlkyao
  • 2013年12月31日 16:33
  • 893

Hadoop实战-初级部分 之 Hadoop Shell 基本操作介绍

第一部分:Hadoop Bin 后面根据项目的实际需要Hadoop Bin  包括: Hadoop  hadoop的Shell hadoop-config.sh 它的作用是对一些变量进行赋值...

Hadoop实战-初级部分 之 MapReduce

第一部分: 什么是 MapReduce               Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并...
  • twlkyao
  • twlkyao
  • 2013年12月31日 16:07
  • 1376

Hadoop实战-初级部分 之 HDFS

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 ...

Hadoop实战-初级部分 之 MapReduce 开发1

第一部分: 什么是 MapReduce               Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型...

Hadoop实战-初级部分 之 MapReduce

私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程 视频课程地址》》》 http://sishuok.com/product/481 整体课程概览 ...

Hadoop实战-初级部分 之 MapReduce

第一部分: 什么是 MapReduce               Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群...

Hadoop实战-初级部分 之 MapReduce

第一部分: 什么是 MapReduce               Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群...

Hadoop实战-初级部分 之 Hadoop集群的安装

第一部分:Word Count 程序讲解   •编写一个MapReduce 程序的步骤 –编写一个Mapper类 –编写一个Reducer类 –编写一个Driver类(...

Hadoop HDFS——Hadoop实战初级部分学习笔记

5、Hadoop HDFS HDFS 分布式文件系统,高容错性,部署到成本低的硬件;   HDFS架构设计 典型的观察者结构,NameNode(1)-----(*)DataNode...
  • hdngbj
  • hdngbj
  • 2013年07月02日 08:54
  • 1390
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop实战-初级部分 之 Shell
举报原因:
原因补充:

(最多只允许输入30个字)