大数据
文章平均质量分 90
corefuture
啦啦啦
展开
-
hive学习小记1
1、变量和属性hive中有四个命名空间来存储变量和属性。hivevar -> 用户自定义变量hiveconf -> hive相关配置属性system -> java程序中的配置属性env -> shell环境中的变量设置变量hive>set hivevar:test=aaa;读取变量hive>set hivevar:foo=b...原创 2020-03-17 00:44:26 · 217 阅读 · 0 评论 -
mac下安装hadoop与hive
hadoop 3.x安装1、ssh免密登陆配置ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/authorized_keys2、下载并安装hadoopbrew install hadoop下载完后hadoop...原创 2020-03-02 00:41:45 · 1544 阅读 · 0 评论 -
kafka——高性能篇
引言kafka是一个高吞吐量的分布式消息系统,它可以支持处理实时数据,提供实时数据。kafka的设计之初就是注重吞吐量的提升,它的高性能,高可吞吐量以从这么以下几点去讨论: ①分区; ②网络传输上减少开销; ③顺序读写: ④零拷贝技术; ⑤优秀的文件存储机制;分区kafka是个分布式集群的系统,整个系统可以包含多个broker,也就是多个服务器实例。每个主题topic会有多个...原创 2018-05-11 01:59:18 · 4432 阅读 · 0 评论 -
Kafka-初识
简介kafka是一个分布式的发布订阅消息系统(或者说是一个分布式流平台),可以实时处理大数据。我们可以把kafka比作水管,水管中可以承载水流,那么kafka可以承载数据流。kafka可以构建实时的流数据管道,来处理大量的数据流。消息系统kafka是一个优秀的消息系统,支持持久化,更关注吞吐量,显式的分布式。消息系统是什么? 消息系统负责将数据从一个应用程序传递到另一个应用程序...原创 2018-04-29 19:07:28 · 489 阅读 · 0 评论