cloudera
@哒哒哒
这个作者很懒,什么都没留下…
展开
-
Cloudera Professional Services
Cloudera Professional Services Revision History Version Author Description Date 0.1 Cloudera 初始版本 11/09/201...原创 2020-04-26 10:15:12 · 167 阅读 · 0 评论 -
sqoop定时增量抽取数据到hive
1、 第一次全量抽取,并创建hive表#keberos认证kinit -kt hdfs.keytab hdfs#从oracle导数据到hivesqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\--username xxx--password xxx\ ...原创 2020-04-26 09:43:39 · 440 阅读 · 0 评论 -
sqoop抽取数据理论及常见问题
sqoop抽取数据问题:倒入ODS原系统表结构修改问题:抽取数据指定字段无影响:无需修改hive表结构 (1).原系统表结构字段顺序调整无影响 (2).原系统增加字段但HDFS不需要,无影响 (3).原系统删减字段,sqoop相应字段放空,无影响有影响:原系统增加字段:需修改hive表结构 1).不刷历史数据:备份表数据,drop目标表然后create,insert回...原创 2020-04-26 09:41:31 · 977 阅读 · 0 评论 -
kudu添加master高可用
业务需求: 目前大数据生产环境kudu组件只有一个master实例,如出现问题会出现单点故障,需要配置多个master实例,保证kudu服务能够实现高可用。实现步骤:添加两台master组件,不要启动,并停止所有组件。创建master所需要的文件夹fs_wal_dir、fs_data_dirs并赋予权限(与上面cm界面配置的路径要相同)。mkdir -p /ku...原创 2020-04-26 09:10:01 · 1264 阅读 · 0 评论