hadoop总结

一、如何安装配置一个Apache的开元hadoop，简述步骤：

  1、创建hadoop账户

  2、修改ip

  3、修改/etc/profile/文件，配置Java的环境变量

  4、修改host文件域名

  5、安装SSH，配置无秘钥通信

  6、解压hadoop，配置hadoop-env.sh、core-site.xml、mapre-site.xml、hdfs-site.sh.

  7、配置hadoop环境变量

  8、Hadoop namenade -format

  9、start-all.sh

二、Hadoop集群中需要启动哪些进程，作用分别是什么？

      1、namenode:管理集群，并记录datanode文件信息

      2、secondenode：可以做冷备份，对一定范围内数据做快照备份。

      3、Datanode：存储数据

      4、Jobtrack：管理任务，将任务分配给tasktrack

      5、Tasktrack：任务执行方。

三、杀死一个job

hadoop job -list获取到job-id。hadoop job  -kill job-id杀死job

四、加入新节点

              Hadoop- daemon.sh  start datanode

              Hadoop-daemon.sh start   tasktrack

        删除节点：

              Hadoop  mradmin   -refreshnodes

              Hadoop  dfsadmin   -refreshnodes