- 博客(4)
- 收藏
- 关注
原创 flume常用组件模板
下文中的agent统一取名为a1#taildir sourcea1.sources = r1a1.sources.r1.type = TAILDIR #选择source为TAILDIRa1.sources.r1.filegroups = f1 #需要监控的文件夹组,实现多目录监控a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.* # 需要监控的文件夹a1.sources.r1.positionFile = /opt..
2021-10-06 10:05:26 176
原创 kafka工作流程
一、生产者端1.将数据包装为ProducerRecord对象 Producer通过调用send(ProducerRecord)发送消息,ProducerRecord对象包含Topic等信息2.Interceptor 拦截器,通过API可以自定义拦截器,过滤掉不需要的信息3.序列化 由于kafka是集群工作模式,集群之间传递需要序列化(Serilizer)4.分区(partition) send()函数参数Topic、va...
2021-09-02 19:45:46 1015
原创 hive安装步骤,包括客户端及JDBC两种方式
hive一般将元数据(表名,字段,以及对应的hdfs路径)存在mysql中,首先在linux环境下安装好mysqlmysql安装步骤如下:1)首先将linux自带的mariadb-libs-5.5.56-2.el7.x86_64卸载 rmp -e2)接下来开始安装mysql,[atguigu@hadoop102 mysql-lib]$ sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm[atguigu@h...
2021-08-20 19:27:39 322
原创 关于hadoop(hdfs)高可用(ha)的配置步骤
hadoop3.0以后,支持搭建多个namenode,而hadoop2.0版本只支持2个namenode,搭建步骤总结如下:1.配置core-site.xml<configuration><!--把多个NameNode的地址组装成一个集群mycluster 集群名可以随意起,要跟hdfs-site.xml对应上--><property><name>fs.defaultFS</name><valu...
2021-08-20 18:34:17 760
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人