GDAL-2.4.0 获取Hadoop-3.1.2 hdfs tif文件信息
GDAL-2.4.0增加了以下功能:
Add /vsihdfs/ virtual file system handler for Hadoop File System (via libhdfs)
Add /vsiwebhdfs/ read-write virtual file system for Web Hadoop File System REST API
调用方式请查看GDAL Virtual File Systems。
1. hadoop-3.1.2安装:
(1)环境说明
Oracle VM VirtualBox 虚拟机
Master: CentOS7.6-1810_Hadoop_Master hadoop主节点,ip:192.168.56.100;用户xxxx 123456,root 123456;
Node1:CentOS7.6-1810_Hadoop_Node1 hadoop子节点,ip:192.168.56.101;用户xxxx 123456, root 123456。
(2)下载安装包
(3)ssh免密码登录
<1> CentOS默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中2行的注释,每台服务器都要设置;
#RSAAuthentication yes 是否允许使用纯RSA公钥认证。仅用于SSH-1。默认值是”yes”。
#PubkeyAuthentication yes 是否允许公钥认证。仅可以用于SSH-2。默认值为”yes”。
说明:这两个都是默认值 yes
如果是默认的话,可以不用设置啦
<2> 输入命令,ssh-keygen -t rsa,生成key,都不输入密码,一直回车,/root就会生成.ssh文件夹,每台服务器都要设置;
<3> 合并公钥到authorized_keys文件,在Master服务器,进入/root/.ssh目录,通过SSH命令合并;
cat id_rsa.pub>> authorized_keys
ssh root@192.168.56.100 cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh root@192.168.56.101 cat ~/.ssh/id_rsa.pub>> authorized_keys
<4> 把Master服务器的authorized_keys、known_hosts复制到node1服务器的/root/.ssh目录(注意复制的文件权限要和Master中的一样,否则无效,自己试验了)
按以下操作,不需要对红字部分进行检查。
scp -r ~/.ssh/authorized_keys 192.168.56.101:~/.ssh/ #need password
scp -r ~/.ssh/known_hosts 192.168.56.101:~/.ssh/ #noneed
<5> 完成,ssh root@192.168.56.101就不需要输入密码了
(4)安装JDK
<1>下载“jdk-8u201-linux-x64.tar.gz”,放到/home/jdk/目录下;
<2>解压,输入命令,tar -zxvf jdk-8u201-linux-x64.tar.gz;
<3>编辑/etc/profile;
export JAVA_HOME=/home/jdk/jdk1.8.0_201
export CLASSPATH=.:$JAVA_HOME/jre/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
<4>使配置生效,输入命令,source /etc/profile;
<5>输入命令,java -version,完成。
(5)安装hadoop
只在Master服务器解压,然后复制到Node1服务器
<1>下载“hadoop-3.1.2.tar.gz”,放到/home/hadoop目录下 ;
<2>解压,输入命令,tar -zxvf hadoop-3.1.2.tar.gz;
<3>在/home/hadoop目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name。
(6)hadoop集群配置