Ubuntu
王乙已
三牌楼业余无线电俱乐部
展开
-
Flume 学习 —— 案例一:Flume 监听端口,在控制台输出端口数据
案例一:Flume 监听端口,在控制台输出端口数据创建配置文件1.在 flume 的 conf 同级目录下创建 job 文件夹,并在 job 文件夹内创建 flume-telnet-logger.confcd /usr/wang/flumemkdir jobcd jobvim flume-telnet-logger.conf将下方文件拷贝到 flume-telnet-logger....原创 2019-03-04 21:36:49 · 2366 阅读 · 1 评论 -
大数据学习——Flume环境搭建
搭建 Flume 环境 搭建 Flume 1.7.0 环境安装拷贝 Hadoop 的包到 Flume 的目录下分发配置完成的 Flume 到其它节点Flume 的使用搭建 Flume 1.7.0 环境我使用了4台虚拟机来搭建相对应的节点,具体情况如下:masterslave1slave2slave3NameNode√SecondaryNameNode...原创 2019-03-04 21:41:03 · 617 阅读 · 0 评论 -
Flume 学习 —— 案例二:Flume 监听日志文件,并将文件上传至 HDFS
案例二:Flume 监听日志文件,并将文件上传至 HDFS创建配置文件1.在这里,我使用 Flume 监听的是 ResourceManage 节点的日志文件2.在 flume 的 conf 同级目录下创建 job 文件夹,并在 job 文件夹内创建 flume-file-hdfs.confcd /usr/wang/flumemkdir jobcd jobvim flume-file-...原创 2019-03-05 08:13:38 · 2634 阅读 · 0 评论 -
Flume 学习 —— 案例三:Flume 监听本地目录,并将目录下文件上传至 HDFS
案例三:Flume 监听本地目录,并将目录下文件上传至 HDFS创建配置文件1.在这里,我使用 Flume 监听的是 /usr/wang/data/upload 目录下的文件2.在 flume 的 conf 同级目录下创建 job 文件夹,并在 job 文件夹内创建 flume-dir-hdfs.confcd /usr/wang/flumemkdir jobcd jobvim flu...原创 2019-03-05 13:56:18 · 3492 阅读 · 0 评论 -
Flume 学习 —— 案例四:Flume 监听本地文件,并将文件分别写至 HDFS 和本地文件夹中
案例四:Flume 监听本地文件,并将文件分别写至 HDFS 和本地文件夹中结构结构中有3个 Agent,分别是监控 File 文件的 a1,接收 a1 的 s1 并写入本地文件夹的 a3 和接收 a1 的 s2 并上传至 HDFS 的 a2创建配置文件1.在这里,我使用 Flume 监听的是 /usr/wang/data/Example4.txt 文件2.在 flume 的 conf...原创 2019-03-06 15:31:09 · 5029 阅读 · 0 评论 -
大数据学习——ZooKeeper环境搭建
搭建 ZooKeeper 环境 搭建 ZooKeeper 3.4.12 环境安装ZooKeeper 配置设置 ZooKeeper 日志输出到指定文件夹集群操作简单命令搭建 ZooKeeper 3.4.12 环境我使用了4台虚拟机来搭建相对应的节点,具体情况如下:masterslave1slave2slave3NameNode√SecondaryName...原创 2019-03-11 21:11:37 · 304 阅读 · 0 评论 -
大数据学习——Kafka环境搭建
搭建 Kafka 环境 搭建 Kafka 0.11.0.0 环境安装Kafka 配置集群操作简单命令搭建 Kafka 0.11.0.0 环境我使用了4台虚拟机来搭建相对应的节点,具体情况如下:masterslave1slave2slave3NameNode√SecondaryNameNode√DataNode√√√Resou...原创 2019-03-11 21:22:44 · 420 阅读 · 0 评论 -
大数据学习——Elasticsearch 与 IK 分词器环境搭建
Elasticsearch 与 IK 分词器环境搭建搭建 Elasticsearch-7.0.0 环境安装配置文件配置问题及解决方法IK 分词器插件elasticsearch-head 的谷歌浏览器插件搭建 Elasticsearch-7.0.0 环境目前只使用一台装有 CentOS 7 的机器,在该机器上搭建了 Elasticsearch 环境,并且安装 elasticsearch-anal...原创 2019-06-07 15:39:41 · 623 阅读 · 1 评论