hdfs伪分布式部署

Hadoop 诠释

广义：以hadoop 为软件主的生态圈（sqoop flume spark flink hbase kafka）

狭义：hadoop 软件本身，开源

下载上传:
window电脑，rz命令 winscp软件 ，上传hadoop压缩包到Linux
建用户和文件夹:
useradd owner
id owner
su - owner
mkdir sourcecode software app log data lib tmp
(为什么自己要建个tmp目录，不使用自带的？ 定期不访问，根据当前版本特性，默认30天自动清除；)
移动:
exit
mv /tmp/hadoop-3.2.2.tar.gz /home/owner/software/
chown owner:owner /home/owner/software/*
解压:
tar -xzvf hadoop-3.2.2.tar.gz -C …/app/
cd …/app
ln -s hadoop-3.2.2 hadoop
cd hadoop
JAVA安装:
https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions
生产部署时，确认当前JDK版本在不在该问题列表中；
unzip jdk1.8.0_121.zip
mkdir -p /usr/java
mv jdk1.8.0_121 /usr/java/
chown -R root:root /usr/java/*
/etc/profile配置全局环境变量
vi命令加入:
#owner env
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$JAV{A}_{H}OME/bin:$PATH
source /etc/profile
ssh: 远程登录到目标地址(执行命令)
远程登录:ssh root@ip===》B机器
远程登录再执行命令，ssh root@ip001 date ,之后光标还在当前用户上
vi hadoop-env.sh
JAVA_HOME=/usr/java/jdk1.8.0_121
伪分布式部署:
vi etc/hadoop/core-site.xml
<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> fs.defaultFS hdfs://hadoop001:9000

vi etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> dfs.replication 1

修正用户 用户组:
chown -R owner:owner hadoop/*
su - owner
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys #重中之重
格式化:
bin/hdfs namenode -format
NameNode daemon and DataNode daemon启动:
sbin/start-dfs.sh