- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 日志采集Flume、Filebeat、Logstash对比-参考CSDN
Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件：source: 采集源，用于跟数据源对接，以获取数据sink：传送数据的目的地，用于往下一级agent或者最终存储系统传递数据channel：agent内部的数据传输通道，用于从source传输数据到sink。
2023-05-14 09:02:27
754
原创 Hive和Impala比较
1、执行速度不同：Hive：底层基于Hadoop的MapReduce引擎，计算过程中经常要走shuffle过程，速度比较慢Impala：底层基于内存，执行效率高，是Hive执行速度的5-50倍之间。2、使用的函数之间有区别：Hive：使用 concat() | concat_ws() 函数，连接的字段类型没有限制Impala：使用 concat() | concat_ws() 函数，连接的字段类型必须是string类型Hive：中有split(执行字段，指定切分符 ) [指定返回的列标]
2021-11-11 21:41:38
2162
原创 分布式集群搭建基础环境准备
分布式集群搭建基础环境准备静态IP以及主机名主机名$ vim /etc/sysconfig/network TWORKING=yes HOSTNAME=node-200静态IP$ vim /etc/sysconfig/network-scripts/ifcfg-eth0EVICE="eth0"BOOTPROTO="static"HWADDR="00:0C:29:49:AE:C8"IPV6INIT="yes"NM_CONTROLLED="yes"IPADDR=19
2021-07-11 10:59:36
91
原创 JAVA通过code码标识层级构建树结构
[]JAVA通过code码标识层级构建树结构学习目标：递归菜单树code码（000标识根节点，0000001标识二级节点）JAVA代码实现：测试代码public static void main(String[] args) { ArrayList<Node> nodes = new ArrayList<>(); nodes.add(new Node(1, "000", "000权限")); nodes.add(ne
2021-06-28 16:28:27
765
原创 Hive使用Tez引擎安装启动报错
问题：org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration错误日志：解决方案：将tez-site.xml cp 到hadoop的etc/hadoop/目录下 ok.
2020-09-26 14:06:29
811
1
原创 Flume消费Kafka数据到HDFS
组件定义a2.sources=r1 r2a2.channels=c1 c2a2.sinks=k1 k2Source配置a2.sources.r1.type = org.apache.flume.source.kafka.KafkaSourcea2.sources.r1.batchSize = 5000a2.sources.r1.batchDurationMillis = 2000a2.sources.r1.kafka.bootstrap.servers = node-201:9092a2.
2020-09-26 11:42:54
106
原创 使用Flume1.7采集日志到Kafka配置File-Flume-Kafka
使用Flume1.7采集日志到Kafka配置File-Flume-Kafkaflume1.7 支持断点续传flume自定义拦截器使用（日志清洗、日志分类）配置文件a1.sources=r1a1.channels=c1 c2a1.sinks=k1 k2configure sourcea1.sources.r1.type = TAILDIRa1.sources.r1.positionFile = /opt/module/flume/log_position.jsona1.sources.
2020-09-26 11:42:08
227
原创 Spring boot 整合JSP的一次踩坑
Spring boot 整合JSP的一次踩坑1 启动类位置 OK2 引入pom依赖 OK 如下：<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId></dependency><dependency> <gro.
2020-09-19 08:38:54
98
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人