水滴--将文件put到sftp

J阿松

已于 2022-06-23 10:03:15 修改

阅读量542

点赞数

文章标签： big data hadoop hive

于 2021-07-13 11:26:39 首次发布

本文链接：https://blog.csdn.net/ablll/article/details/118693164

版权

该博客详细描述了如何从Hadoop集群导出CSV文件，并通过SFTP上传到目标目录，包括从Hive表中导出数据，然后在水滴文件管理终端上传文件的步骤。

摘要由CSDN通过智能技术生成

1.首先将呼和采集上的表数据导出到csv文件中，以“，”分隔

实例：先找一台接口机通过以下命令先跳转到199这台机器上
1
/usr/bin/ssh hh_process_cjzh_dw_cb__zhengqi@10.177.56.199
2
Dataops@2021
3然后再通过以下beeline命令登陆到hive服务器
beeline -u 'jdbc:hive2://10.177.56.231:10001' -n  "hh_process_cjzh_dw_cb__zhengqi" -p "Dataops@2021"

2.在呼和生产集群上创建以“，”分隔的维表

CREATE TABLE zq_dim.dim_ent_area_info(
 prov_id string COMMENT '省分编码',
 prov_name string COMMENT '省分名称',
 ent_prov_id string COMMENT '工商省分编码',
 ent_prov_name string COMMENT '工商省分名称',
 area_id string COMMENT '地市编码',
 area_name string COMMENT '地市名称',
 ent_area_id string COMMENT '工商地市编码',
 ent_area_name string COMMENT '工商地市名称',
 ent_city_id string COMMENT '工商区县编码',
 city_name string COMMENT '区县名称'
)
 COMMENT '工商区域编码'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE