![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 55
大数据相关的大杂烩
丑丑小小丫丫
这个作者很懒,什么都没留下…
展开
-
cdh3.6.1安装笔记
cdh3.6.1安装笔记原创 2022-09-26 14:32:48 · 788 阅读 · 1 评论 -
log数据导入kudu步骤
flume-kafka-kudu数据导入原创 2022-09-26 14:30:36 · 393 阅读 · 0 评论 -
java操作kudu之创建表格
java操作kudu之创建表格第一步:pom依赖第二步:创建类及编写代码package com.kudu.test;import org.apache.kudu.ColumnSchema;import org.apache.kudu.Schema;import org.apache.kudu.Type;import org.apache.kudu.client.CreateTableOptions;import org.apache.kudu.client.KuduClient;imp原创 2022-05-06 16:06:32 · 946 阅读 · 0 评论 -
Kafka报错:kafka.common.InconsistentBrokerIdException
Kafka报错:kafka.common.InconsistentBrokerIdException问题背景:一台装过kafka的机器再重新安装kafka并启动时(log.dirs没有更改),会报错:FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker原创 2022-05-06 14:38:56 · 790 阅读 · 1 评论 -
HIVE 外部表、内部表、元数据之间的关系
1.创建hive外部表2.mysql的元数据信息select * from TABLE_PARAMS;查看表是否是外部表select * from SDS;记录表的存储路径(默认路径)3.hdfs的存储4.刷新impala的元数据信息5.删除外部表6.刷新impala元数据信息并查表7.mysql元数据信息已被删除,序号140的表信息已删除8.查询hdfs存储路径,数据依然坚挺9.在hive上建立同名的内部表,成功并可查10.删除内部表,mysql的元数据和hdfs原创 2022-04-01 15:41:31 · 2314 阅读 · 0 评论 -
使用sqoop将greenplum数据全量导入hive和impala
1.链接数据库a.链接greenplumsqoop list-tables --connect jdbc:postgresql://192.168.13.45:5432/bidata --username postgres --password Tengxianfeng198301011b.链接mysqlsqoop list-databases --connect jdbc:mysql://39.105.79.54/bi --username jumpwbx --password jumpwbx12原创 2022-04-01 09:41:25 · 2825 阅读 · 0 评论