![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP管理
szjianzr
这个作者很懒,什么都没留下…
展开
-
HADOOP1.0-hadoop、hive、derby安装部署手册
HADOOP集群安装部署1 前言本文档是设想在多台服务器上部署HADOOP的实现过程;2 创建用户建议同个集群中的用户和用户组,都是相同的,以便管理和维护。2.1 生成创建用户的运行角本为不同服务器创建同样的用户和组,创建脚本的目的是让不同服务器可以直接运行此脚本,实现用户创建的过程。用root用户登录li...2011-11-01 09:14:11 · 120 阅读 · 0 评论 -
HADOOP1.0集群新增数据节点
一、创建用户groupadd analyzer -fuseradd analyzer -d /opt/analyzer -g analyzer -p searchanalyzer二、处理/etc/hosts文件三、设置免密码登录(多台机器的id_rsa.pub,相互拷贝)生成公钥、密钥:ssh-keygen -t rsa复制本地id_rsa.pub到远程服务器,...2011-11-01 09:14:53 · 91 阅读 · 0 评论 -
HADOOP1.0集群停用数据节点
一、停止数据节点的方法:向名称节点通知希望停止的节点,使其能在数据节点关闭之前,将数据块复制到其他数据节点中。二、操作步骤:1、必须先确认集群是在运行中。并且已经退出的安全模式。安全模式状态的查看:-bash-3.2$ ./bin/hadoop dfsadmin -safemode getSafe mode is OFF2、首先建立一个slaves.exclude文...2011-11-03 15:18:34 · 281 阅读 · 0 评论 -
hadoop,hbase集群管理
简单介绍hadoop1.0、hbase的进程及其启动、关闭等管理 主要参考官网的帮助文档:Hadoop集群的部署及使用:http://hadoop.apache.org/docs/r1.2.1/cluster_setup.htmlhadoop集群的常用管理:http://hadoop.apache.org/docs/r1.2.1/commands_manual.htmlha...原创 2014-08-06 14:57:03 · 124 阅读 · 0 评论 -
Hadoop的备份或迁移
Hadoop的备份或迁移,可以从三个角度进行考虑:一、Datanode数据备份Hadoop中的数据,可以通过dfs.replication来设置其备份的数量。具体参见安装部署过程中对hdfs-site.xml文件的配置。二、Namenode元数据备份通过SecondNameNode进行元数据的备份,当namenode出现异常时,可以从SecondNameNode进行恢复。三...原创 2014-08-07 09:35:44 · 1668 阅读 · 0 评论 -
Hbase-管理及常见操作
一、常用的hbase shell命令运行./hbase shell进入操作环境,常用的命令有如下,可以直接输入某个命令关键字进行帮助查询:名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:',...原创 2014-08-07 11:39:27 · 88 阅读 · 0 评论 -
Win7下用Eclipse向Hadoop2.5.2集群提交MapReduce程序的注意事项
主要描述下,在Win7环境下,通过eclipse往集群提交MapReduce程序的过程。一、环境说明:开发环境:WIN7Eclipse版本:eclipse-jee-indigoHadoop版本:Hadoop2.5.2MR运行模式:Yarn 二、使用MapReduce的Eclipse插件:插件名称:hadoop-eclipse-plugin-2.5.2.ja...原创 2016-04-14 11:14:14 · 174 阅读 · 0 评论