- 博客(4)
- 收藏
- 关注
RSS订阅原创 flume常用组件模板
下文中的agent统一取名为a1 #taildir source a1.sources = r1 a1.sources.r1.type = TAILDIR #选择source为TAILDIR a1.sources.r1.filegroups = f1 #需要监控的文件夹组，实现多目录监控 a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.* # 需要监控的文件夹 a1.sources.r1.positionFile = /opt..
2021-10-06 10:05:26
189
原创 kafka工作流程
一、生产者端 1.将数据包装为ProducerRecord对象 Producer通过调用send(ProducerRecord)发送消息,ProducerRecord对象包含Topic等信息 2.Interceptor 拦截器，通过API可以自定义拦截器，过滤掉不需要的信息 3.序列化 由于kafka是集群工作模式，集群之间传递需要序列化（Serilizer） 4.分区（partition） send()函数参数Topic、va...
2021-09-02 19:45:46
1046
原创 hive安装步骤，包括客户端及JDBC两种方式
hive一般将元数据(表名，字段，以及对应的hdfs路径)存在mysql中，首先在linux环境下安装好mysql mysql安装步骤如下： 1)首先将linux自带的mariadb-libs-5.5.56-2.el7.x86_64卸载 rmp -e 2）接下来开始安装mysql， [atguigu@hadoop102 mysql-lib]$ sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm [atguigu@h...
2021-08-20 19:27:39
333
原创 关于hadoop(hdfs)高可用(ha)的配置步骤
hadoop3.0以后，支持搭建多个namenode，而hadoop2.0版本只支持2个namenode,搭建步骤总结如下： 1.配置core-site.xml <configuration> <!--把多个NameNode的地址组装成一个集群mycluster 集群名可以随意起，要跟hdfs-site.xml对应上--> <property> <name>fs.defaultFS</name> <valu...
2021-08-20 18:34:17
783
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人