- 博客(3)
- 收藏
- 关注
原创 CDH安装sentry。集成Hive和Impala
安装sentry服务修改hive、impala、hue配置文件。Hive:勾选Sentry服务后。会报错:取消勾选HiveServer2启用模拟:Impala:Hue:三台服务器上创建admin、user_r账号useradd user_ruseradd admin使用beeline连接HiveServer2,并登录hive用户beeline !connect jdbc:hive2://主机名:10000这时会让你输入用户名和密码,这里都输入hive创建超
2022-03-24 15:32:10 2327 1
原创 Canal重启策略
Canal重启策略线上环境Canal Instance重启,为了防止数据丢失,需要指定position重启具体步骤如下:停止Instance根据%canal_deployer%/conf/Instance_name/mete.dat元数据文件修改Instance配置文件。注意这里一定要修改journal.name和position两个配置。删除%canal_deployer%/conf/Instance_name/mete.dat元文件。重启Instance。...
2022-03-24 15:13:52 1443
原创 实时数仓的设计与实现
实时数仓的设计与实现所需组件:数据源:Mysql、MongoDB、Log日志采集工具:Canal、Mongoshake、FileBeat、Flume消息队列:Kafka数据库:Kudu计算引擎:Flink查询引擎:Impala查询UI:Hue数仓分层:ODS层:存储未加工过的原数据。包括...
2021-12-16 13:35:20 2434
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人