leeyu的博客

基础操作 1. 客户机的文本模式与图形模式切换 1. ctrl + alt + F6 文本模式 2. ctrl + alt + F7 图形模式 2. 设置开机默认进入文本模式 1. 进入 /etc/default/grub 2. 将GRB_CMPLINE_LINUX_DEFAULT="quiet" 修改为：GRB_C...

kafka级联flume KafkaSink(消费者): a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 a1.sinks.k1.type = org.apache.flume.si...

Hbase适用于数据随机查找 hdfs数据批处理，做数据的统计、离线计算 kafka: 分布式流处理平台 在系统之间构建实时数据流管道 基本名词介绍： 配置kafka: broker.id=1 listeners=PLAINTEXT://:9092 log.dirs=/home/ubuntu/kafka-logs zookeeper.connect=s100:2181 启动kafka服务器： ...

flume原理 memory channel(内存通道)： 配置memory.conf: a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 10000 ...

两层agent连接 avroSource和avroSink实现跃点agent代理： 配置avro_hop.conf #a1: a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat al.sources.r1.bind = localhost a1.sources.r1.port = 4...

flume原理 flume工作原理： flume的数据流由事件（event）贯穿始终。事件是flume的基本单位，它携带日数据并且携带带有头信息， 这些event由agent外部的source生成，当source捕获事件后会进行特定的格式化，然后source会把事件推入channel中， 保存事件直到sink事件处理完该事件为止，sink负责持久化或者把事件推向另一个source或者写入hdfs...

flume 特点： 分布式、可靠、高可用的海量日志采集、聚合和传输的系统 在生产者和消费者中间起协调作用 flume工作原理： flume的数据流由事件（event）贯穿始终。事件是flume的基本单位，它携带日数据并且携带带有头信息， 这些event由agent外部的source生成，当source捕获事件后会进行特定的格式化，然后source会把事件推入channel中， 保存事...

docker搭建zookeeper集群 启动zk节点 sudo docker exec -it zoo1_Container_ID /bin/bash sudo docker exec -it zoo2_Container_ID /bin/bash sudo docker exec -it zoo3_Container_ID /bin/bash 由于我们分别将 zoo1, zoo2,...

zookeeper集群搭建 zookeeper产生背景以及zookeeper作用介绍 搭建集群存在的问题 zoo.cfg: dataDir=/home/ubuntu/data/zkdata/zookeeper 设置服务器编号： 在~/data/zkdata/myid: echo "1" > myid 报错信息： Error contacting service.It is proba...

hadoop 三种搭建方式： 本地(单jiqi)模式： 文件路径：name: fs.defaultFS value: file:/// 伪分布式模式 文件路径： 完全分布式模式 文件路径： 阅读源码： Configuration conf = new Configuration(); 创建Configuration对象时，jingjnknjjn2 ...

1 大数据处理的常用方法 大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： 在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。 如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的...

启动远程调试,查看job在hadoop集群上的执行过程 [远端s100]: 1. 将win生成的jar传送到ubutu 2. 设置HADOOP_CLIENT_OPTS环境变量,在shell下输入 $> export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -agentlib:jdwp=transport=dt_socket,server...

hadoop 文件系统的操作： 1> hadoop fs hdfs dfs 命令 2> 创建文件夹：[-mkdir [-p] ...] 3> 删除文件夹：[-rmdir [--ignore-fail-on-non-empty] ...] 4> 打开文件系统中的文件： [-cat [-ignoreCrc] ...] 5> 复制文件系统中的文件: [

big data 4V模型：（海量数据，并行访问，数据挖掘） Volumn 海量数据 Variaty Velocity 并行高速 Valueless hadoop配置伪分布式： [core-site.xml]： <property> <name>fs.defaultFS</name>

安装EclipseX 插件 在eclipse中安装hadoop插件，方便查看dfs文件系统： 1. 下载hadoop2x-eclipse-plugin.zip文件 2. 解压hadoop2x-eclipse-plugin.zip/release/*.jar到${eclipse的安装路径}/plugins下 3. 重启eclipse 4. 验证hadoop插件是否安装成功： prefere

生产者API测试 public void testProduce(){ Properties properties = new Properties(); // broker 列表 properties.put("metadata.broker.list","s100:9092"); // 串行化 properties...