- 博客(6)
- 收藏
- 关注
RSS订阅转载 常见的几种Flume日志收集场景实战
这里主要介绍几种常见的日志的source来源，包括监控文件型，监控文件内容增量，TCP和HTTP。Spool类型 用于监控指定目录内数据变更，若有新文件，则将新文件内数据读取上传 在教你一步搭建Flume分布式日志系统最后有介绍此案例Exec EXEC执行一个给定的命令获得输出的源,如果要使用tail命令，必选使得file足够大才能看到输出内容创建agent配置文件 # vi /us...
2018-05-25 17:24:51
1120
转载 Flume+Kafka收集Docker容器内分布式日志应用实践
about云hadoop日志分析 问题导读：1、如何设计Flume+Kafka收集架构？2、如何修改Docker内配置文件？3、如何进行Flume配置？4、如何定制RollingByTypeAndDayFileSink？1 背景和问题随着云计算、PaaS平台的普及，虚拟化、容器化等技术的应用，例如Docker等技术，越来越多的服务会部署在云端。通常，我们需要需要获取日志，来进行监控、分析、预测、统...
2018-05-25 16:45:52
1513
转载 sqoop2-1.99.5-cdh5.5.4.tar.gz的部署搭建
首先，说下博主我，为什么，好端端的Sqoop1用的好好的，然后又安装和学习Sqoop2？ 因为，在Cloudera Hue里的Sqoop，是需要Sqoop2。HUE配置文件hue.ini 的sqoop模块详解（图文详解）（分HA集群） Sqoop2安装简介 sqoop2的安装分为server端和client端。 server端：负责与hadoop集群通信进行数据的迁移，client端负...
2018-05-25 16:43:53
413
转载 Docker中搭建Kafka集群以及让外网访问
集群规划，3个容器，由最初的centos:latest镜像开始制作主机名IP地址kafka-node1172.19.0.71kafka-node2172.19.0.72kafka-node3172.19.0.73宿主机（虚拟机centos6.5）10.20.0.128...
2018-05-25 15:24:16
5625
3
转载 docker容器中搭建kafka集群环境
Kafka集群管理、状态保存是通过zookeeper实现，所以先要搭建zookeeper集群 zookeeper集群搭建一、软件环境： zookeeper集群需要超过半数的的node存活才能对外服务，所以服务器的数量应该是2*N+1，这里使用3台node进行搭建zookeeper集群。1. 3台linux服务器都使用docker容器创建，ip地址分别为NodeA：...
2018-05-25 15:16:25
942
转载 使用 Docker 一步搞定 ZooKeeper 集群的搭建
ZooKeeper为分布式应用提供高效、高可用的分布式协调服务，它有三种运行模式：单机模式、伪集群模式和集群模式。本文通过探索ZooKeeper的官方Docker镜像，来看看怎样快速搭建一个ZooKeeper的高可用集群。Docker容器将应用打包成一个单一的镜像，这对应用程序的部署提供了很大的便利。如果我们以传统的方式部署应用程序，首先需要将应用的依赖环境部署好，如果程序的依赖比较单一，部署时还...
2018-05-25 14:16:34
839
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人