GDAL-2.4.0 获取Hadoop-3.1.2 hdfs tif文件信息

hadoop-3.1.2安装及GDAL2.4.0读取tif文件信息
摘要由CSDN通过智能技术生成

GDAL-2.4.0 获取Hadoop-3.1.2 hdfs tif文件信息
  GDAL-2.4.0增加了以下功能:

Add /vsihdfs/ virtual file system handler for Hadoop File System (via libhdfs)
Add /vsiwebhdfs/ read-write virtual file system for Web Hadoop File System REST API

调用方式请查看GDAL Virtual File Systems。

1. hadoop-3.1.2安装:

(1)环境说明
Oracle VM VirtualBox 虚拟机

Master: CentOS7.6-1810_Hadoop_Master hadoop主节点,ip:192.168.56.100;用户xxxx 123456,root 123456;
Node1:CentOS7.6-1810_Hadoop_Node1 hadoop子节点,ip:192.168.56.101;用户xxxx 123456, root 123456。

(2)下载安装包

hadoop-3.1.2;
jdk-8u201-linux-x64;

(3)ssh免密码登录

<1> CentOS默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中2行的注释,每台服务器都要设置;
#RSAAuthentication yes 是否允许使用纯RSA公钥认证。仅用于SSH-1。默认值是”yes”。
#PubkeyAuthentication yes 是否允许公钥认证。仅可以用于SSH-2。默认值为”yes”。
说明:这两个都是默认值 yes
如果是默认的话,可以不用设置啦
<2> 输入命令,ssh-keygen -t rsa,生成key,都不输入密码,一直回车,/root就会生成.ssh文件夹,每台服务器都要设置;
<3> 合并公钥到authorized_keys文件,在Master服务器,进入/root/.ssh目录,通过SSH命令合并;
cat id_rsa.pub>> authorized_keys
ssh root@192.168.56.100 cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh root@192.168.56.101 cat ~/.ssh/id_rsa.pub>> authorized_keys
<4> 把Master服务器的authorized_keys、known_hosts复制到node1服务器的/root/.ssh目录(注意复制的文件权限要和Master中的一样,否则无效,自己试验了
按以下操作,不需要对红字部分进行检查。
scp -r ~/.ssh/authorized_keys 192.168.56.101:~/.ssh/ #need password
scp -r ~/.ssh/known_hosts 192.168.56.101:~/.ssh/ #noneed
<5> 完成,ssh root@192.168.56.101就不需要输入密码了

(4)安装JDK

<1>下载“jdk-8u201-linux-x64.tar.gz”,放到/home/jdk/目录下;
<2>解压,输入命令,tar -zxvf jdk-8u201-linux-x64.tar.gz;
<3>编辑/etc/profile;
export JAVA_HOME=/home/jdk/jdk1.8.0_201
export CLASSPATH=.:$JAVA_HOME/jre/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
<4>使配置生效,输入命令,source /etc/profile;
<5>输入命令,java -version,完成。

(5)安装hadoop

只在Master服务器解压,然后复制到Node1服务器
<1>下载“hadoop-3.1.2.tar.gz”,放到/home/hadoop目录下 ;
<2>解压,输入命令,tar -zxvf hadoop-3.1.2.tar.gz;
<3>在/home/hadoop目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name。

(6)hadoop集群配置

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值