- 博客(5)
- 收藏
- 关注
转载 Kafka配置参数详解
Kafka主要参数详解 一、相关参数配置 ############################ System ############################# #唯一标识在集群中的ID,要求是正数。 broker.id=0 #服务端口,默认9092 port=9092 #监听地址,不设为所有地址 host.name=debugo01 # 处理网络请求的最大线程...
2019-01-24 11:13:00 252
原创 Fulme数据采集基本案例
一、数据收集工具 Hadoop业务的整体开发流程: 任何完整的大数据平台,一般都会包括以下的基本处理过程: 数据采集 数据 ETL 数据 存储 数据 计算/ 分析 数据展现 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采集的挑战也变的尤为突出。这其中包括: 数据源多种多样 数据量大...
2018-08-17 10:13:23 1335
原创 Hbase整合Hive案例
一、原理: Hive 与 HBase 利用两者本身对外的 API 来实现整合,主要是靠 HBaseStorageHandler 进行通信,利用 HBaseStorageHandler,Hive 可以获取到 Hive 表对应的 HBase 表名,列簇以及列,InputFormat 和 OutputFormat 类,创建和删除 HBase 表等。 Hive 访问 HBase 中表数...
2018-08-14 14:48:50 334
原创 十个有趣的问题
题目1: 怎么实现hive不支持的a.id > b.id ? 1、select a.id,a.name, b.id, b.age from a join b on a.id = b.id; MR去实现: ReduceJoin MapJoin 2、select a.id,a.name, b.id, b.age from a join b on a.id >...
2018-08-13 11:50:14 4960
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人