java 编写hadoop程序中使用第三方libxx.so库

在使用java编写hadoop处理程序时遇到了,java使用依赖的第三方libxx.so库的情况,找到了一种可行的方法,记录一下,希望对别人也有帮助;

加入需要使用的lib库为libxxx.so

1.先将该库放到hdfs中. /user/xx/libxxx.so

2.在java代码中添加如下代码

DistributedCache.addCacheFile(new URI("hdfs://hdfsip:port/user/xx/libxxx.so#libxxx.so"));
 
DistributedCache.createSymLink(conf);

 

 

转载于:https://www.cnblogs.com/clyskyblue/p/3572383.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop编写Java程序的步骤如下: 1. 导入所需的Hadoop。在你的Java代码,你需要导入Hadoop以便使用Hadoop的API和功能。 2. 设置Hadoop配置。创建一个Configuration对象,并使用这个对象设置Hadoop集群的相关配置,例如HDFS的地址和端口号。 3. 创建一个FileSystem对象。使用FileSystem类的静态get()方法创建一个与HDFS连接的FileSystem对象。 4. 编写你的程序逻辑。根据你的需求编写你的Hadoop程序逻辑,例如创建目录、读取文件、写入文件等操作。 5. 运行你的程序使用Java命令运行你的Hadoop程序,或者将你的程序打包成JAR文件并使用yarn命令提交到Hadoop集群上运行。 下面是一个示例: ```java package my.hdfs; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class MakeDir { public static void main(String[] args) throws IOException, URISyntaxException { Configuration conf = new Configuration(); String hdfsPath = "hdfs://localhost:9000"; FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf); String newDir = "/hdfstest"; boolean result = hdfs.mkdirs(new Path(newDir)); if (result) { System.out.println("Success!"); } else { System.out.println("Failed!"); } } } ``` 这个示例程序是在HDFS上创建一个新目录`/hdfstest`。首先,我们需要创建一个Configuration对象来设置Hadoop配置。然后,通过调用FileSystem的get()方法来获取一个与HDFS连接的FileSystem对象。最后,使用FileSystem的mkdirs()方法来创建新目录。 希望这个示例能够帮助你编写HadoopJava程序。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [hadoop常见操作以及简单的Hadoop javaAPI实现](https://blog.csdn.net/web13524385009/article/details/126369459)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [hadoop程序开发--- Java](https://blog.csdn.net/zx77588023/article/details/109861294)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值