Sqoop and Flume
贾诩是也
走过很多弯路,一直坚强、执着的眺望着远方、、、一个听着小米布斯故事成长起来的老码农。不忘初心,方得始终、、、给自己鼓劲加油,为这个时代华丽的时代喝彩!
展开
-
Flume简单介绍
1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一. 2 .概翻译 2017-09-01 00:33:05 · 300 阅读 · 0 评论 -
基于Flume的美团日志收集系统(一)架构和设计
美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。 第一部分架构和设计,将主要着眼于日志收集系统整体的架构设计,以及为什么要做这样的设计。 第二部分改进和优化,将主要着眼于实际部署和使转载 2017-11-25 15:25:05 · 746 阅读 · 0 评论 -
基于Flume的美团日志收集系统(二)改进和优化
在前文中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。 1 Flume的问题总结 在Flume的使用过程中,遇到的主要问题如下: a. Channel“水土不服”:使用固定大小的MemoryChannel在日志高峰时常报队列大小不够的异常;使用FileCh翻译 2017-11-25 15:27:14 · 272 阅读 · 0 评论 -
Flume小案例札记
Ø 应用场景(一): 采集发往某个端口的所有数据、、、 #example.comf:A single-node Flume configuration #Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #Describe/configure the sourc原创 2017-11-24 14:19:22 · 215 阅读 · 0 评论 -
Flume应用案例
一、flume的案例 1)案例1:Avro Avro可以发送一个给定的文件给Flume,Avro 源使用AVRO RPC机制。 a)创建agent配置文件 root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.conf a1.sources = r1 a1原创 2017-09-02 11:22:28 · 796 阅读 · 0 评论 -
Flume日志收集杂谈
一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 设计目标: (1) 可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据a转载 2017-09-01 00:34:21 · 165 阅读 · 0 评论 -
Flume入门之Flume架构以及应用介绍
在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: 从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 (一)Flume架构介绍 1、Flume的概念 flume是分布式的日志转载 2017-09-01 00:33:50 · 323 阅读 · 0 评论 -
Flume NG 基本架构及原理
1 介绍 Flume NG是Cloudera提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。经过架构重构后,Flume NG更像是一个轻量的小工具,非常简单,容易适应各种方式日志收集,并支持failo转载 2017-09-01 00:33:36 · 255 阅读 · 0 评论 -
Flume安装及配置介绍
Flume的下载方式: wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar. 下载完成之后,使用tar进行解压 tar -zvxf apache-flume-1.6..0-bin.tar. 进入flume的conf配置包中,使用命令touch flum转载 2017-09-01 00:33:19 · 279 阅读 · 0 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
转自:http://www.cnblogs.com/zhengah/p/4729304.html 个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实 时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。 可以带着下转载 2017-11-03 18:21:43 · 392 阅读 · 0 评论