![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 77
全能打工人
程序员,打工人,奶爸,社交恐惧
展开
-
flume启动脚本
1、脚本编写与执行为了执行方便,我们也可以通过自定义脚本实现flume后台的运行(实际上,该脚本就是执行的命令../flume-ng agent -c ../conf -f “agent脚本文件” --name agent&)。同时方便flume脚本自启动等功能的修改。#!/bin/bash#echo "begin start flume..."#flume的安装根目录(根据自己情况,修改为自己的安装目录)path=/home/software/apache-flume-1.9.0-b原创 2021-09-28 15:53:12 · 1620 阅读 · 4 评论 -
flume+kafka+hive收集用户行为数据
需求背景项目中需要将用户的行为数据或者其他数据放入大数据仓库,已有kafka服务。解决方案我们可以通过flume获取kafka实时数据并转存储到hdfs。转存到hdfs后,再通过load data命令加载到Hive表中,hive再处理用户行为数据,最终输出到mysql呈现到用户端。具体步骤一. 安装部署Hadoop并启动Hadoop,具体步骤见:Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xie..原创 2021-09-28 11:33:16 · 2479 阅读 · 0 评论 -
flume+kafka+hdfs收集用户行为数据
需求背景项目中需要将用户的行为数据或者其他数据放入大数据仓库,已有kafka服务。目标:通过flume获取kafka实时数据并转存储到hdfs。一. 安装部署Hadoop并启动Hadoop,具体步骤见:Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客Windows10安装Hive3.1.2_xieedeni的博客-CSDN博客说明:这里的版本本人安装的是Hadoop3.3.0,kafka是腾讯云,Flume这里建议安装flume1.9二. Wind原创 2021-09-27 16:59:41 · 1622 阅读 · 0 评论