datiechui20的博客

原创 flume 数据采集

1、flume在大数据业务中的角色Hadoop业务的整体开发流程：  在大数据的业务处理过程中，Flume主要负责数据的采集。 2、Flume架构介绍  flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，比如说送到图中的HDFS，简单来说flume就是收集日志的。 2、Event 在这里有必要先介绍一下flume中event

原创 sqoop入门

大数据技术之Sqoop 一、Sqoop简介Sqoop是hdfs、hive、hbase和RDBMS结构化数据库之间传输大量数据的工具。二、Sqoop原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。三、Sqoop安装安装Sqoop的前提是已经具备Java和Hadoop

原创 zookeeper监听器原理

原创 利用zookeeper实现分布式运用服务器上下线的动态感知-简单程序

服务器上下线的动态感知程序核心

原创 zookeeper重点总结

zookeeper 分布式运用协调服务

原创 Hadoop-mapreduce reducer端多表合并

package cn.nyzc.reducejoin;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;/** * 传输的bean对象 * Title: OrderBe

原创 hadoop-mapreduce map端多表合并

package com.atguigu.mapjoin;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.util.HashMap;import jav