- 博客(5)
- 收藏
- 关注
RSS订阅转载 Kafka配置参数详解
Kafka主要参数详解 一、相关参数配置 ############################ System ############################# #唯一标识在集群中的ID，要求是正数。 broker.id=0 #服务端口，默认9092 port=9092 #监听地址，不设为所有地址 host.name=debugo01 # 处理网络请求的最大线程...
2019-01-24 11:13:00
228
原创 Fulme数据采集基本案例
一、数据收集工具 Hadoop业务的整体开发流程： 任何完整的大数据平台，一般都会包括以下的基本处理过程： 数据采集 数据 ETL 数据 存储 数据 计算/ 分析 数据展现 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括： 数据源多种多样 数据量大...
2018-08-17 10:13:23
1310
原创 Hbase整合Hive案例
一、原理： Hive 与 HBase 利用两者本身对外的 API 来实现整合，主要是靠 HBaseStorageHandler 进行通信，利用 HBaseStorageHandler，Hive 可以获取到 Hive 表对应的 HBase 表名，列簇以及列，InputFormat 和 OutputFormat 类，创建和删除 HBase 表等。 Hive 访问 HBase 中表数...
2018-08-14 14:48:50
330
原创 十个有趣的问题
题目1： 怎么实现hive不支持的a.id > b.id ？ 1、select a.id,a.name, b.id, b.age from a join b on a.id = b.id; MR去实现： ReduceJoin MapJoin 2、select a.id,a.name, b.id, b.age from a join b on a.id >...
2018-08-13 11:50:14
4935
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人