1、环境要求
2、安装
安装前需要先做免密钥操作及创建安装目录
生成密钥 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 将密钥写入到认证文件 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 创建hadoop安装目录 mkdir /opt/hx |
2.1、下载hadoop2.6.5安装包并解压
解压安装包 tar xf hadoop-2.6.5.tar.gz 将解压后的包移动到上述建立的目录/opt/hx下 mv hadoop-2.6.5 /opt/hx |
2.2、配置hadoop环境变量
vi /etc/profile 增加HADOOP_HOME变量 JAVA_HOME=/usr/java/jdk1.7.0_80 export JAVA_HOME JRE_HOME HADOOP_HOME CLASS_PATH PATH 执行source /etc/profile命令使配置生效 source /etc/profile |
2.3、做jdk的二次环境变量配置
进入到hadoop目录 cd /opt/hx/hadoop-2.6.5/etc/hadoop/ 修改hadoop-env.sh文件 vi hadoop-env.sh |
2.4、修改配置文件
修改文件/etc/hadoop/core-site.xml:配置NameNode
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hx/hadoop/local</value> </property> </configuration> |
修改文件etc/hadoop/hdfs-site.xml:配置副本数,伪分布式只能设置成1。并且配置snn节点
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>node01:50090</value> </property> </configuration> |
2.5、namenode格式化
hdfs namenode -format |
格式化成功
2.6、启动NameNode,SecondaryNameNode,DataNode
start-dfs.sh |
启动完毕后通过jps命令查看到相应进程说明启动成功
2.7、web页面查看启动状况
2.8、测试
新增一个当前登录人员的目录 hdfs dfs -mkdir -p /user/root |
将下载的hadoop包放到此目录下
hdfs dfs -put hadoop-2.6.5.tar.gz /user/root/ |
for i in ` seq 100000`;do echo "hello test $i" >> test.txt;done |
通过上述命令将循环100000次数据写入到test.txt中,然后将按Block块大小1M上传
hdfs dfs -D dfs.blocksize=1048576 -put test.txt |