![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 90
ji丶
互联网菜鸟
展开
-
Apache Flume简介及安装部署
概述Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件。Flume 的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink)后,flume 在删除自己缓存的数据。Flume 支持定制各类数...原创 2018-07-08 13:09:04 · 1388 阅读 · 0 评论 -
Flume采集目录及文件到HDFS案例
采集目录到HDFS 使用flume采集目录需要启动hdfs集群vi spool-hdfs.conf# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source ##注意:不能往监控目中重复丢同名文件 a1.sources.r1....原创 2018-07-08 13:09:34 · 587 阅读 · 0 评论 -
Flume的load-balance、failover
配置flume集群参考https://www.cnblogs.com/jifengblog/p/9277793.htmlload-balance负载均衡 介绍负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。Load balancing Sink Processor 能够实现 load balance 功能,如下图Agent1 是一个路由节点,负责将 Channel 暂存的...原创 2018-07-08 13:10:10 · 507 阅读 · 0 评论 -
zookeeper集群搭建
Zookeeper 集群搭建指的是 ZooKeeper 分布式模式安装。通常由 2n+1台 servers 组成。这是因为为了保证 Leader 选举(基于 Paxos 算法的实现)能过得到多数的支持,所以 ZooKeeper 集群的数量一般为奇数。 Zookeeper 运行需要 java 环境,所以需要提前安装 jdk1. 卸载自带的jdk查看当前jdk版本信息 获取java...原创 2018-07-03 19:11:46 · 144 阅读 · 0 评论 -
zookeeper的shell操作
一、启动zookeeper集群 进入zookeeper安装目录下的bin目录内,通过命令启动./zkServer.sh start 通过命令查看节点状态./zkServer.sh status 通过命令关闭./zkServer.sh stop 二、连接zookeeper服务 启动zookeeper服务之后,输入以下命令,连接到Zookeeper服务,注意:如果没有配置环境变量在zooke...原创 2018-07-05 13:11:53 · 432 阅读 · 0 评论 -
zookeeper的JavaAPI
org.apache.zookeeper.Zookeeper Zookeeper 是在 Java 中客户端主类,负责建立与 zookeeper 集群的会话,并提供方法进行操作。 org.apache.zookeeper.Watcher Watcher 接口表示一个标准的事件处理器,其定义了事件通知相关的逻辑,包含 KeeperState 和 EventType 两个枚举类,分别代表了通知状态...原创 2018-07-05 13:12:30 · 138 阅读 · 0 评论 -
网站流量数据采集环境部署及实现
一、原理分析与设计实现 友情链接:https://www.cnblogs.com/likemebee/p/7967534.html 二、系统环境部署 !!!执行复制下列命令是注意查看是否为英文类型的 “-” ,当命令错误时首先排查该处 -------------------------------服务器 A 中部署开始---------------------------...原创 2018-07-05 13:13:57 · 780 阅读 · 0 评论