Java将远程文件存储到本地指定的目录

计算机毕设项目资讯获取:

大家点赞、收藏、关注、评论啦 、查看👇🏻👇🏻👇🏻获取项目下载链接,博主联系方式👇🏻👇🏻👇🏻

链接点击直达:下载链接


/**
     * 远程下载文件
     * @param filePath 文件网络地址
     */
    public static void DownAndReadFile(String filePath,String dirPath) throws Exception {
        //检查指定目录,用户没有指定目录 抛出异常提示用户
        if(dirPath==null||dirPath.length()==0)throw new Exception("指定路径目录不能为空");

        //创建file文件对象
        File savePath = new File(dirPath);
        //判断文件目录是否存在,不存在即创建目录
        if (!savePath.exists()) {
            savePath.mkdir();
        }
        String[] urlname = filePath.split("/");
        int len = urlname.length-1;
        //获取文件名
        String uname = urlname[len];
        File file = new File(savePath+"//"+uname);
        //创建新文件
        if(file!=null && !file.exists()){
            file.createNewFile();
        }
        //输出流
        OutputStreamWriter out = new OutputStreamWriter(new FileOutputStream(file));
        URL url = new URL(filePath);
        //获取链接
        HttpURLConnection uc = (HttpURLConnection) url.openConnection();
        uc.setDoInput(true);//设置是否要从 URL 连接读取数据,默认为true
        uc.connect();
        //获取输入流,读取文件
        InputStreamReader in = new InputStreamReader(uc.getInputStream());
        char[] buffer = new char[4*1024];
        int length;
        //读取文件
        while((length=in.read(buffer))!= -1){
            //写出
            out.write(buffer, 0, length);
        }
        out.flush();
        in.close();
        out.close();
    }
  • 5
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要将本地Java Spark中的数据写入到远程Hive中,需要完成以下步骤: 1. 在本地Java Spark中读取数据,并将其转换为DataFrame。 2. 配置远程Hive的连接信息。 3. 将DataFrame中的数据写入到远程Hive中。 以下是一个使用Java Spark写入数据到远程Hive的示例代码: ```java import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; public class WriteToRemoteHive { public static void main(String[] args) { // 创建SparkSession SparkSession spark = SparkSession.builder() .appName("write_to_hive") .getOrCreate(); // 读取本地数据 Dataset<Row> df = spark.read().format("csv") .option("header", "true") .load("/path/to/local/csv"); // 配置远程Hive连接信息 String hiveHost = "remote-hive-host"; String hivePort = "10000"; String hiveDatabase = "database"; String hiveTable = "table"; String hiveUsername = "username"; String hivePassword = "password"; // 将DataFrame写入到远程Hive df.write().format("jdbc") .option("url", "jdbc:hive2://" + hiveHost + ":" + hivePort + "/" + hiveDatabase) .option("dbtable", hiveTable) .option("user", hiveUsername) .option("password", hivePassword) .save(); // 关闭SparkSession spark.stop(); } } ``` 这个代码中,我们首先使用Java Spark读取了本地的CSV文件,并将其转换为DataFrame。然后,我们配置了远程Hive的连接信息,包括Hive的主机名、端口号、数据库名、表名、用户名和密码。最后,我们使用`jdbc`格式将DataFrame写入到远程Hive中。在这个示例中,我们使用的是`save()`方法,表示将数据保存到Hive表中。你也可以使用`insertInto()`方法将数据插入到Hive表的指定分区中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值