Flume
文章平均质量分 56
夏殿灬青葛石
雨天不忘奔跑。
展开
-
使用 Flume 监听整个目录的实时追加文件,并上传至 HDFS
注意core-site.xml中配置的NameNode地址,确保映射没有出错,端口号保持一致。确保hadoop集群已经启动。原创 2022-11-08 18:13:38 · 759 阅读 · 0 评论 -
使用 Flume 监听整个目录的文件,并上传至 HDFS
tmp 结尾的文件会被自动忽略,不会上传【配置文件中sources配置了相关的 ignorePattern】由于sources的type 指定的 spooldir ,上传完的文件会以 .COMPLETED 结尾。上传完成的文件会以.COMPLETED 结尾;注意core-site.xml中配置的NameNode地址,确保映射没有出错,端口号保持一致。原创 2022-11-08 15:07:36 · 794 阅读 · 0 评论 -
实时监控 Hive 日志,并上传到 HDFS 中
注:要想读取 Linux 系统中的文件,就得按照 Linux 命令的规则执行命令。由于 Hive日志在 Linux 系统中所以读取文件的类型选择:exec 即 execute 执行的意思。表示执行Linux 命令来读取文件。检查/etc/profile.d/my_env.sh 文件,确认 Hadoop 和 Java 环境变量配置正确。原创 2022-11-07 18:12:56 · 327 阅读 · 0 评论 -
netcat工具简单使用
(2)在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。创建 Flume Agent 配置文件 flume-netcat-logger.conf。(3)在 flume-netcat-logger.conf 文件中添加如下内容。(1)在 flume 目录下创建 job 文件夹并进入 job 文件夹。在 /opt/software目录下安装netcat。判断 44444 端口是否被占用。nc -lk 加上端口号。然后就可以互相收发消息了。原创 2022-11-07 17:16:14 · 519 阅读 · 0 评论 -
Flume安装部署
(1)将 apache-flume-1.9.0-bin.tar.gz【flume安装包,版本任意】 上传到 linux 的/opt/software 目录下。(2)解压 apache-flume-1.9.0-bin.tar.gz 到/opt/module/目录下。文档查看地址:http://flume.apache.org/FlumeUserGuide.html。下载地址:http://archive.apache.org/dist/flume/关于常用的递归删除 rm -rf 的解读。原创 2022-11-07 15:40:41 · 430 阅读 · 0 评论