大数据
文章平均质量分 90
corefuture
啦啦啦
展开
-
hive学习小记1
1、变量和属性 hive中有四个命名空间来存储变量和属性。 hivevar -> 用户自定义变量 hiveconf -> hive相关配置属性 system -> java程序中的配置属性 env -> shell环境中的变量 设置变量 hive>set hivevar:test=aaa; 读取变量 hive>set hivevar:foo=b...原创 2020-03-17 00:44:26 · 230 阅读 · 0 评论 -
mac下安装hadoop与hive
hadoop 3.x安装 1、ssh免密登陆配置 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys 2、下载并安装hadoop brew install hadoop 下载完后hadoop...原创 2020-03-02 00:41:45 · 1585 阅读 · 0 评论 -
kafka——高性能篇
引言 kafka是一个高吞吐量的分布式消息系统,它可以支持处理实时数据,提供实时数据。kafka的设计之初就是注重吞吐量的提升,它的高性能,高可吞吐量以从这么以下几点去讨论: ①分区; ②网络传输上减少开销; ③顺序读写: ④零拷贝技术; ⑤优秀的文件存储机制; 分区 kafka是个分布式集群的系统,整个系统可以包含多个broker,也就是多个服务器实例。每个主题topic会有多个...原创 2018-05-11 01:59:18 · 4461 阅读 · 0 评论 -
Kafka-初识
简介 kafka是一个分布式的发布订阅消息系统(或者说是一个分布式流平台),可以实时处理大数据。我们可以把kafka比作水管,水管中可以承载水流,那么kafka可以承载数据流。kafka可以构建实时的流数据管道,来处理大量的数据流。 消息系统 kafka是一个优秀的消息系统,支持持久化,更关注吞吐量,显式的分布式。 消息系统是什么? 消息系统负责将数据从一个应用程序传递到另一个应用程序...原创 2018-04-29 19:07:28 · 494 阅读 · 0 评论