Hadoop 安装和配置

安装

创建用户

sudo useradd -m hadoop -s /bin/bash

sudo ubuntu中权限管理机制，管理员给普通用户执行root权限执行的操作，需要当前用户密码

设置密码

sudo passwd hadoop

增加管理员权限

sudo adduser hadoop sudo

更新apt 软件源

sudo apt-get update

安装vim编辑器

sudo apt-get install vim

安装SSH (client and Server)

ubuntu 默认安装了ssh client
sudo apt-get install openssh-server

登录本机

ssh localhost

退出
exit

配置SSH 无密码登录

# ~  表示当前用户主文件夹  /home/用户名 

cd ~/.ssh  #如果没有目录  先执行一次ssh localhost
ssh-keygen -t rsa  #有提示  回车就行

cat ./id_rsa.pub >> ./id_authorized_keys #加入授权

SSH 能预防  DNS欺诈 IP欺骗

1.口令
用自己的账户密码 远程登录服务器(数据加密)  ip欺骗
2.密钥
创建密钥，并拷贝在需要访问的服务器上 加入id_authorized_keys
(登录时间长)

Hadoop2 安装

下载地址

下载 stable

下载以后 解压 重命名 赋予权限

#解压到 /usr/local下
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -c /usr/local

cd /usr/local
sudo mv ./hadoop-2.6.0/ ./hadoop
sudo chown -R hadoop ./hadoop

单机配置

修改配置文件

路径： usr/local/hadoop/etc/hadoop/
core-site.xml
hdfs-site.xml

NameNode初始化

./bin/hdfs namenode -format

启动NameNode an DataNode守护进程

./sbin/start-dfs.sh

DataNode启动失败

./sbin/stop-dfs.sh #关闭
rm -r ./tmp  #删除tmp文件 原hdfs 所有数据
./bin/hdfs namenode -format #格式化 NameNode
./sbin/start-dfs.sh #重启