HIVE
teak_on_my_way
这个作者很懒,什么都没留下…
展开
-
进行跨集群的数据迁移出现namenode切换,导致数据异常
因为有时候需要定时进行跨集群的数据迁移,所以需要进行跨集群传数据。这里采用distcp 指令进行传数据。但是这个指令只能指定已经活跃的NAMENODE。当出现主节点切换后会出现错误。所以采用先进行判断,后续进行传数据的操作。原创 2020-08-19 17:01:42 · 338 阅读 · 0 评论 -
将hive的数据导出成一个文件并且下载在一台机器上
之前使用的方法一直都不好然后就去查一些资料后发现这种方法最好而且省事情。 hdfs dfs -getmerge hdfs://nameservice1/user/hive/warehouse/app.db/app_hjdper_repot_tips_business/* ./文件路径 第一个参数是hive中表的hdfs的路径位置,第二个是你需要下载的路径的位置,这样就会直接将hive的数据下载在...原创 2020-02-14 20:27:13 · 559 阅读 · 0 评论 -
使用HIVE 自带的JSON 函数进行json解析 同时解析JSON数组
数据展示 这是遗传JSON字符串 ,是一个还款计划,其中包含了很多的还款计划。 {"plan":[{"principal":"1114.09","interest":"489.14","date":"2018-11-02"},{"principal":"1124.30","interest":"423.03","date":"2018-12-02"},{"principal":"1134.61",...原创 2020-01-10 16:03:58 · 971 阅读 · 0 评论