Bigdata-开发环境搭建二

1.安装JDK

1、 上传 jdk-8u151-linux-x64.tar.gz
rz   将安装文件从windows上传到Linux上
2、 解压到 当前目录下并重命名
tar -zxvf jdk-8u151-linux-x64.tar.gz
mv jdk1.8.0_151 jdk
3、 配置环境变量
(1) vi /etc/profile在文件最后加入两行：
export JAVA_HOME=/root/jdk
export PATH=$PATH:$JAVA_HOME/bin
:wq 保存退出
(2) 重新加载配置文件 source /etc/profile
4、检测是否安装成功： java -version 

注意事项：
1、如果rz命令不能识别，就需要先安装lrzsz软件：
yum install lrzsz -y
2、所有命令和参数，多个参数间都要用空格隔开！

2.安装hadoop集群前的小准备
1、 关闭防火墙
systemctl stop firewalld
2、设置Linux主机名
hostnamectl set-hostname master
hostname
3、添加内网域名映射
修改配置文件： vi /etc/hosts
ip + 主机名
4、 配置免密码登录
1)、 在 root 登录状态下， 输入命令 ssh-keygen
2)、 之后你会发现， 在/root/.ssh 目录下生成了公钥文件
3)、 使用命令：ssh-copy-id hadoop02
建立 hadoop01 到 hadoop02 的免密码登录

3.hadoop伪分布式集群安装


4.hdfs集群初步使用

查看集群文件： hadoop fs -ls /
上传文件： hadoop fs -put filepath destpath
下载文件： hadoop fs -get destpath
创建文件夹： hadoop fs -mkdir /hadoopdata
查看文件内容： hadoop fs -cat /hadoopdata/myfile.txt