GDAL获取Hadoop hdfs tif文件信息（java）

已于 2023-06-27 15:40:17 修改
阅读量626 收藏 1
点赞数 1
文章标签： hadoop java hdfs gdal
于 2022-06-24 10:39:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rong_zhe/article/details/125441085
版权

GDAL获取Hadoop hdfs tif文件信息（java）

系统版本
	系统Centos7
软件版本
	hadoop-3.1.2
	jdk-8u221
	curl-7.64.1
	gdal-2.4.0
	apache-ant-1.10.5-bin

  • 安装JDK

    • 卸载原系统的openJDK

      #查看java版本
java -version
#查看 openjdk 相关安装包
rpm -qa | grep openjdk

#执行批量删除命令，删除openjdk
rpm -qa | grep openjdk |xargs rpm -e --nodeps

#再次查看 openjdk 相关安装包
rpm -qa | grep openjdk

#查看java版本
java -version

      如果已经查看不到java版本，则说明已经卸载

    • 安装jdk-8u221

      # 进入home路径下
cd /home
# 创建jdk文件夹，用于存放jdk
mkdir jdk
# 将下载的jdk-8u221-linux-x64.tar.gz放入该目录并解压
tar -zxvf jdk-8u221-linux-x64.tar.gz

      #配置jdk环境变量
vim /etc/profile
#写入环境变量
export JAVA_HOME=/home/jdk/jdk1.8.0_221
export CLASSPATH=.:$JAVA_HOME/jre/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
#使环境变量生效
source /etc/profile
#查看Java版本信息 是否是我们配置的jdk 是否配置成功
java -version

    • ssh免密码登录

    • 安装hadoop

      # 创建目录/home/hadoop，并将hadoop-3.1.2.tar.gz放在该目录下
cd /home
mkdir hadoop
# 解压hadoop-3.1.2.tar.gz
tar -zxvf hadoop-3.1.2.tar.gz
# 在/home/hadoop目录下创建数据存放的文件夹 tmp、hdfs、hdfs/data、hdfs/name
mkdir tmp hdfs hdfs/data hdfs/name

    • hadoop文件配置（/home/hadoop/hadoop-3.1.2/etc/hadoop）

      • core-site.xml

        <configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.126.128:9000</value><!--NameNode的URL，hdfs://主机名:端口/-->
    </property>
    <property>
        <name>hadoop.tmp.dir</name><!--Hadoop的默认临时路径，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。如果删除了NameNode机器的此目录，那么需要重新执行NameNode格式化命令-->
        <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

</configuration>

      • hdfs-site.xml

        <configuration>
	<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.126.128:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>

      • mapred-site.xml

        <configuration>
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.126.128:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.126.128:19888</value>
    </property>
</configuration>

      • yarn-site.xml

        <configuration>
<!-- Site specific YARN configuration properties -->
	<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.126.128:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.126.128:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.126.128:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.126.128:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.126.128:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value><!--这里768需要大些20480，不然有问题，后续查找为什么-->
    </property>
	<property>
       <name>yarn.application.classpath</name>
          <value>/home/hadoop/hadoop-3.1.2/etc/hadoop:/home/hadoop/hadoop-3.1.2/share/hadoop/common/lib/*:/home/hadoop/hadoop-3.1.2/share/hadoop/common/*:/home/hadoop/hadoop-3.1.2/share/hadoop/hdfs:/home/hadoop/hadoop-3.1.2/share/hadoop/hdfs/lib/*:/home/hadoop/hadoop-3.1.2/share/hadoop/hdfs/*:/home/hadoop/hadoop-3.1.2/share/hadoop/mapreduce/lib/*:/home/hadoop/hadoop-3.1.2/share/hadoop/mapreduce/*:/home/hadoop/hadoop-3.1.2/share/hadoop/yarn:/home/hadoop/hadoop-3.1.2/share/hadoop/yarn/lib/*:/home/hadoop/hadoop-3.1.2/share/hadoop/yarn/*</value>
    </property>
</configuration>

      • **hadoop-env.sh **

        #添加环境变量
export JAVA_HOME=/home/jdk/jdk1.8.0_221

      • yarn-env.sh

        #添加环境变量
export JAVA_HOME=/home/jdk/jdk1.8.0_221

      • 在/etc/profile中设置环境变量

        #打开profile
vim /etc/profile

#添加环境变量
export LD_LIBRARY_PATH=/home/hadoop/hadoop-3.1.2/lib/native:/home/jdk/jdk1.8.0_221/jre/lib/amd64/server:$LD_LIBRARY_PATH

#hadoop环境 以及  gdal编译安装路径/home/gdalinstall/bin
export HADOOP_HOME=/home/hadoop/hadoop-3.1.2
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob):$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin:/home/hadoop/hadoop-3.1.2/bin:/home/hadoop/hadoop-3.1.2/sbin/:/home/gdalinstall/bin

#使更改生效
source /etc/profile

      • 启动hadoop

        #进入hadoop
cd /home/hadoop/hadoop3.1.2
# 初始化
hdfs namenode -format
#启动hadoop
sbin/start-all.sh
#停止hadoop
stop-all.sh
#关闭防火墙
systemctl stop firewalld

      • 安装ant

         #创建放置ant的文件夹
 cd /home
 mkdir ant
 cd ant
 # 解压ant
 tar -zxvf apache-ant-1.10.5-bin.tar.gz 
 #进入apache-ant-1.10.5文件夹
 cd apache-ant-1.10.5
 #配置ant环境变量
 export PATH=$PATH:/home/ant/apache-ant-1.10.5/bin

      • 测试是否安装成功

        http://192.168.126.128:9870

      • 在hadoop放入一个tif文件

        # hadoop fs –put [本地地址] [hadoop目录]
hadoop fs -put /home/test /gdal_info

    • 安装curl-7.64.1.tar.gz

      • 解压并安装

        #创建文件夹
cd /home
mkdir curl
cd /curl
# 解压
tar -zxvf curl-7.64.1.tar.gz
cd curl-7.64.1
./configure
make
make intsll

    • 安装gdal

      #创建文件夹
cd /home
mkdir gdal
cd /gdal
#解压
tar -zxvf gdal-2.4.0.tar.gz
cd gdal-2.4.0
./configure --prefix=/home/gdalinstall --with-java=/home/jdk/jdk1.8.0_221/ --with-hdfs=/home/hadoop/hadoop-3.1.2/ --with-jvm-lib=/home/jdk/jdk1.8.0_221/jre/lib/amd64/server/libjvm.so --with-jvm-lib-add-rpath
make
make install

      • gdalinfo访问hdfs tif文件信息

        gdalinfo /vsihdfs/hdfs://192.168.126.128:9000/gdal_test/dt.tif
gdalinfo /vsiwebhdfs/http://192.168.126.128:9870/webhdfs/v1/gdal_test/dt.tif

      • 生成gdal.jar

        #修改gdal根目录/swig/java/java.opt 添加JAVA_HOME的值为java的根目录
cd /home/gdal/gdal-2.4.0/swig/java/
vim java.opt
#添加 JAVA_HOME 
JAVA_HOME=/home/jdk/jdk1.8.0_221
#安装swig
yum install -y swig
#gdal根目录/swig/java中执行make && make install
make && make install
#可以看到生成了 libgdalalljin.so libgdalalljin.la gdal.jar

      • 把gdal根目录/swig/java中生成的gdal.jar文件复制到$JAVA_HOME/jre/lib/ext下

      • 把*.libgdalalljin.so libgdalalljin.la 或者(.so、.lo、.o、.la、*.a)复制到$JAVA_HOME/jre/lib/amd64/server

      • 查看环境变量中是否有$JAVA_HOME/jre/lib/amd64/server

        export LD_LIBRARY_PATH=.:$JAVA_HOME/jre/lib/amd64/server

      • 改完后 执行source /etc/profile

      • 就安装完成，可以使用swig/java/apps里的程序测试一下

    • 我的环境变量如下

      export JAVA_HOME=/home/jdk/jdk1.8.0_221
export HADOOP_HOME=/home/hadoop/hadoop-3.1.2
export CLASSPATH=.:$JAVA_HOME/jre/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export LD_LIBRARY_PATH=/home/hadoop/hadoop-3.1.2/lib/native:/home/jdk/jdk1.8.0_221/jre/lib/amd64/server:$LD_LIBRARY_PATH
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob):$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin:/home/hadoop/hadoop-3.1.2/bin:/home/hadoop/hadoop-3.1.2/sbin/:/home/gdalinstall/bin
export PATH=$PATH:/home/ant/apache-ant-1.10.5/bin

    • 我的测试程序

      • 给hadoop中存储tif文件

        #/home/test下面存储的是tif文件
hadoop fs -put    /home/test   gdal_test

#查看存储的tif文件
hdfs dfs -ls /
hdfs dfs -ls /gdal_test

      • 测试的java程序

        import org.gdal.gdal.Dataset;
import org.gdal.gdal.gdal;
import org.gdal.gdalconst.gdalconst;

public class GdalHdfsTest {
    
    public static void main(String[] args) {
        // register gdal
        gdal.AllRegister();
        System.out.println("success");
        // set support chinese
        gdal.SetConfigOption("GDAL_FILENAME_IS_UTF8","YES");
        //String tifName = "/vsihdfs/hdfs://192.168.126.129:9000/gdal_test/dt.tif";
        String tifName = "/vsiwebhdfs/http://192.168.126.129:9870/webhdfs/v1/gdal_test/dt.tif";
        //read tis data
        Dataset dataset = gdal.Open(tifName, gdalconst.GA_ReadOnly);
        //get  raster x size
        int xSize = dataset.getRasterXSize();
        System.out.println("raster x size :" + xSize);
    }
}
李沐泽
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GDAL-2.4.0 获取Hadoop-3.1.2 hdfs tif文件信息
newston的博客
04-18 1739
hadoop-3.1.2安装及GDAL2.4.0读取tif文件信息
『GDAL』读写TIFF文件
七秒钟的记忆
08-18 9023
读写TIFF文件的一种方法
最全使用GDAL库读取Tiff文件_gdal读取tif，2024年最新阿里P8架构师的C C++大厂面试题总结
最新发布
2401_84975843的博客
05-16 370
采用清华大学宫鹏教授学科组10m土地覆盖数据，具体可以在官网下载。
gdal读取tif文件
03-08
打开TIFF文件后，可以获取图像的宽度、高度、波段数量等信息： ```cpp int nXSize = poDataset->GetRasterXSize(); int nYSize = poDataset->GetRasterYSize(); int nBands = poDataset->GetRasterCount(); ``...
gdal Java版提取单波道tif图片代码
12-13
MyEclipse 引用GDAL java版的代码提取tif 灰色图片的 岩性信息
基于GDAL库的tif信息查询
03-22
**基于GDAL库的tif信息查询** 在GIS（地理信息系统）领域，TIFF（Tagged Image File Format）是一种常见的栅格图像格式，尤其在遥感和地图制图中广泛使用。这种格式支持多种地理空间信息，如地理坐标、投影、波段等...
gdal裁剪tif_tif遥感图像_GDAL裁剪_遥感影像_GDAL_gdal批量裁剪_
10-01
`gdal.Warp()`函数执行裁剪操作，需要源文件、目标文件和一个`gdal.WarpOptions`对象，其中可以设定输出格式、源区和目标区等参数。 6. **遥感影像应用** 遥感影像通常包含大面积的地理区域，通过GDAL裁剪可以聚焦...
Java调用GDAL的所有DLL和gdal.jar(java8 bin目录)，使用编译好的库方法，获取 tif 文件信息及GDAL方法
04-13
Java调用GDAL的所有DLL和gdal.jar(java8 bin目录，含Java调用GDAL的DLL和gdal.jar)，使用编译好的库方法，获取 tif 文件信息及GDAL方法，具体使用方法：https://blog.csdn.net/antma/article/details/89264910
release-1911-x64-gdal-3-0-2-mapserver-7-4-2.zip 及五个alconstjni.dll, gdaljni.dll
03-11
经过JAVA编译后，需要的dll文件有五个：gdalconstjni.dll, gdaljni.dll, ogrjni.dll, osrjni.dll and gdal202.dll。这5个文件均为GDAL/OGR的本地库，供JAVA调用。 gdal 环境配置从源码到JAVA应用（Windows环境）配置gdal dll路径
C++之GDAL读取tiff文件，获取行列坐标值
小胖七少爷的博客
12-18 7270
GDAL处理地理图像坐标计算 本文讲解如何使用GDAL处理地理图像时，通过使用行列号计算和转换成tiff图像的地理坐标： tif中坐标计算的方法如下，其中Col表示该坐标点处图像的列号，ROW表示该坐标点处图像的行号， 比如图像左上角Col为0，ROW为0，图像右下角Col为图像宽度，ROW为图像高度。 Xgeo = GT(0) + Col*GT(1) + Row*GT(2) Ygeo = GT(3) + Col*GT(4) + Row*GT(5) #include <gdal_pri..
python + gdal tif 实现渲染数据
hunpei7898的博客
10-10 2089
python + gdal tif 实现渲染数据
java使用geotools及其gdal包进行各种形式文件的输出
yinchoushi8780的博客
04-15 1067
java使用geotools及其gdal包进行各种形式文件的输出 1.ASC：WriteRasterASC 2.NC：WriteRasterASC 3.TIF：WriteRasterToTIFF 4.PNG：GDALDem2png（tif转png） 5.SHP：GdalTifftoPolygon（tif转shp） 6.GEOJSON：WriteSHPToGEOJSON(shp转geojson) ...
使用GDAL将TIFFFILE遥感图像转换为软件可读的图像
Nick Blog
12-14 410
1.问题描述： 一些情况下，使用python tifffile 库imwrite的遥感图像无法用ENVI等软件打开，由于缺少头文件信息。 2.解决方案 使用GDAL库将TIFFFILE遥感图像转换为软件可读的图像。 from osgeo import gdal import tifffile # read TIF image using TIFFFILE and write again using GDAL def update_msi(input_file_name, output_file_name)
Hadoop的HDFS介绍和操作
小鹏的专栏
04-24 9100
一、HDFS概述        HDFS（Hadoop Distributed File System）：分布式文件系统二、操作HDFS        1、通过Web Console：50070、50090        2、命令行            （1）操作命令 hdfs dfs ****                    -mkdir 创建目录                    ...
用流的方式来操作hdfs上的文件
心如止水 宠辱不惊
12-03 4925
package cn.itcast.bigdata.hdfs; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import org.apache.commons.io.IOUtils; import org.apa
使用Python的GDAL库来读取tif文件
05-11
可以使用Python的GDAL库来读取tif文件。下面是一个简单的示例代码： ```python from osgeo import gdal # 打开tif文件 dataset = gdal.Open("filename.tif") # 获取文件的元数据 print("Driver: {}/{}".format(dataset.GetDriver().ShortName, dataset.GetDriver().LongName)) print("Size is {} x {} x {}".format(dataset.RasterXSize, dataset.RasterYSize, dataset.RasterCount)) print("Projection is {}".format(dataset.GetProjection())) # 获取文件的数据 band = dataset.GetRasterBand(1) print("Band Type={}".format(gdal.GetDataTypeName(band.DataType))) # 读取数据 data = band.ReadAsArray(0, 0, dataset.RasterXSize, dataset.RasterYSize) ``` 在上面的代码中，我们首先使用`gdal.Open()`函数打开tif文件，然后使用各种GDAL函数获取文件的元数据和数据。最后，我们使用`ReadAsArray()`函数来读取数据。 注意：在运行代码之前，请确保已经安装了Python的GDAL库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值