hive：编写java代码，将文本中的分隔符替换成\001

需求

将sql-server中的数据导入到hive，但是没有informatic的权限，又不想麻烦别人，好在数据量较小，可以手动查询之后，保存在txt文件里，再load进hive。但是hive表中的分隔符是\001，而查询出的结果是以\t分割，所以需要将\t修改为\001。

思路

1.编写代码，使用jdbc链接数据库，将查询结果以\001分割，并写进文件。

2.在sql-server客户端查询，将结果保存进txt文件，编写代码读取文件内容，并修改分隔符，写进新文件。

由于没有数据库链接权限，所以只能选择方法2。

实现

查询数据并保存至文本

得到的文件内容如图：

代码实现

import java.io.*;
import java.util.Scanner;

public class Test {
    public static void main(String[] args) {
        char x = '\001';
        File fileSource = new File("C:\\Users\\zixuan.wu\\Desktop\\plu.txt");
        File fileNew = new File("C:\\Users\\zixuan.wu\\Desktop\\plu-new.txt");
        FileInputStream fio = null;
        FileOutputStream fos = null;
        try {
            fio = new FileInputStream(fileSource);
            fos = new FileOutputStream(fileNew);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }
        Scanner sc = new Scanner(fio);
        while (sc.hasNext()){
            String line = sc.nextLine();
            String[] strings = line.split("\t");
            String string = strings[0];
            for (int i = 1; i < strings.length; i++) {
                string = string + x +strings[i];
            }
            try {
                fos.write(string.getBytes());
                fos.write("\n".getBytes());
            } catch (IOException e) {
                e.printStackTrace();
            }
            System.out.println(string);
        }

        try {
            fio.close();
            fos.close();
            sc.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

得到的新文件内容如图：

使用rz命令上传文件至服务器

[ldl-dwh@utility02 zixuan]$ rz
z waiting to receive.**B0100000023be50
[ldl-dwh@utility02 zixuan]$ ls
plu-new.txt

进入hive，load本地文件进表

hive> load data local inpath '/home/ldl-dwh/zixuan/plu-new.txt' overwrite into table ldltmp.mdm_pluitem;
Loading data to table ldltmp.mdm_pluitem
setfacl: Permission denied. user=ldl-dwh is not the owner of inode=plu-new.txt
Table ldltmp.mdm_pluitem stats: [numFiles=1, totalSize=21332465]
OK
Time taken: 0.851 seconds

查询结果