- 博客(7)
- 资源 (4)
- 收藏
- 关注
原创 zookeeper集群搭建
zookeeper集群搭建1.软件环境CentOS7.6 :master(192.168.101.223),slave1(192.168.101.224),slave2(192.101.225)zookeeper版本:zookeeper-3.4.132.安装包下载:http://www.trieuvan.com/apache/zookeeper/zookeeper-3.4.133....
2019-12-16 01:31:34 219
原创 kafka原理介绍
kafka原理介绍一、基本架构broker:中间的kafka cluster,存储消息,是由多个server组成的集群。topic:kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。producer:往broker中某个topic里面生产数据。consumer:从broker中某个topic获取数据。partition:partition 是物理上的概念,每...
2019-12-16 00:51:32 286
原创 Kafka常用命令
Kafka常用命令一,查看当前Kafka集群中Topic的情况bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181二,查看Topic的分区和副本情况bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic test0三,创建Topicbin/kafka-...
2019-12-16 00:44:18 307
原创 hive创建数据库
hive创建数据库create database IF NOT EXISTS sip_data_drc COMMENT '测试数据库' LOCATION '/tmp/hive/root/' WITH DBPROPERTIES ('creater'='liuzd','date'='20191010'); IF NOT EXISTS:如果不存在则创建 COMMENT:...
2019-12-16 00:25:06 1674
原创 hadoop集群环境搭建
hadoop集群环境搭建1.软件环境Centos 7.6 : master(192.168.101.223),slave1(192.168.101.224),slave2(192.101.225)hadoop版本:hadoop-2.8.52.安装包下载:http://www.trieuvan.com/apache/zookeeper/hadoop-2.8.53.解压hadoop...
2019-12-16 00:17:44 243
原创 hadoop管理界面介绍和使用
hadoop管理界面介绍和使用hadoop管理界面的登录在浏览器输入外网ip加端口号 ip:port即可登录 ,hadoop管理界面端口号50070[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-naeGDfAR-1576425909909)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-...
2019-12-16 00:09:07 4947
原创 flume介绍与原理
flume介绍与原理一、flume介绍 flume具有高可用,分布式,配置工具,其设计的原理也是基于将数据流,如日志数据从各种网站服务器上汇集起来存储到HDFS,HBase等集中存储器中。flume的优势:1、 Flume可以将应用产生的数据存储到任何集中存储器中,比如HDFS,HBase。2、当收集数据的速度超过将写入数据的时候,也就是当收集信息遇到峰值时,这时候收集的信息非...
2019-12-15 23:55:51 570
flume介绍与原理.md
2019-12-15
checkhost.py
2019-11-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人