BIGDATA
大数据环境相关
思诺的小世界
世界上没有最好的编程语言,只有最适合具体场景的语言。
展开
-
随笔1-kafka集群安装
1. 主机与服务规划1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop注意: 集群原创 2020-09-25 15:43:32 · 137 阅读 · 0 评论 -
随笔3-Flume入门案例
1. 监控端口数据官方案例需求:使用Flume监听一个端口,收集该端口数据,并打印到控制台。步骤实现(1) 在flume目录下创建work工作目录[hadoop@hadoop181 apache-flume]$ mkdir -p work[hadoop@hadoop181 apache-flume]$ cd work(2) 创建flume Agent配置文件[hadoop@hadoop181 work]$ vim flume-netcat-logger.conf(3) 配置文件内容原创 2020-09-24 20:14:52 · 148 阅读 · 0 评论 -
随笔2-Flume安装部署实录
Flume 安装部署1. 下载Flume(1) 下载地址http://flume.apache.org/download.html(2) 下载文件(3) 上传到用户目录2. 解压安装包(1) 解压[hadoop@hadoop181 ~]$ tar -zxvf apache-flume-1.9.0-bin.tar.gz(2) 改一个简单的名字[hadoop@hadoop181 ~]$ mv apache-flume-1.9.0-bin apache-flume3. 修改flume-原创 2020-09-24 16:41:12 · 143 阅读 · 0 评论 -
随笔1-FLUME简介
Apache-Flume1. 概述Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的工具Flume 的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(Sink)。 为了保证输送的过程一定成功,再送到目的地(Sink)之前,会先缓存数据(Channel),待数据真正到达目的地(Sink)后,flume 在删除自己缓存的数据。Flume 支持定制各类数据发送方,用于收集各类型数据;同时Flume 支持定制各种数据接收方,用于原创 2020-09-24 20:15:48 · 154 阅读 · 0 评论