![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop系列
天蓝-fly
fly-data
展开
-
Flume基本使用
Flume的核心组件为source、channle、sink:组件描述source可以对接数据源,可以是mysql、file、tcp等 channle为数据传输通道,可指定为内存、文件等 sink为数据输出,可以是file、mysql、es、hdfs、hive、kafka等等功能描述-1由于soucre和sink均有多样性,因此可以根据需求非常灵活的组织自己需要的数据流转模式,可以跨越各种限制功原创 2017-07-31 11:14:03 · 468 阅读 · 0 评论 -
一个日志实时处理方案
主要功能 *日志实时写入ES,实现实时查询 *日志实时写入HDFS,用于日志分析 *日志异常实时预警使用的主要组件 rsyslog、flume、kafka、hive、zookeeper、storm、presto、sqoop本案例也是第一次尝试,基本实现了自己需要的功能,中间可能有许多不是很合理的地方。大致架构思路如下:原创 2017-07-31 14:45:46 · 1925 阅读 · 0 评论 -
sqoop运用
介绍下从通过sqoop将数据定时转移至mysql的使用方法过程:把存储在hive表的日志数据汇总成天、时、分数据,然后把三份数据同步至mysql前提:hive表已创建好、mysql表已创建好将可执行sqoop语句封装成shell脚本1、汇总脚本etl.sh #!/bin/bash . ~/.bash_profile today=$(date -d '-0 day' '+%Y%m%d') yetoda原创 2017-07-31 11:27:25 · 608 阅读 · 0 评论 -
Hadoop环境搭建
包含hadoop、hive、hbase、zookeeper、storm、spark、Kafka、flume、sqoop一、服务器基本配置服务器系统版本:CentOS release 6.4 (Final) JDK版本:java version “1.7.0_60*二、 集群信息三、 各组件版本信息四、安装步骤4.1 环境基本配置addusr hadusr #创建用户 passwd h原创 2017-07-29 16:23:23 · 545 阅读 · 0 评论