大数据采集
大数据采集
阿坨
曾迷途才怕追不上满街赶路人
展开
-
kafka学习笔记
kafka安装环境要求:需要安装zookeeper、java1.7以上。下载kafka注意:到Kafka官网下载安装文件时,一定要选择和自己电脑上已经安装的scala版本号一致才可以。本笔记安装的scala版本号是2.11.16,所以,一定要选择Kafka版本号是2.11开头的。比如,到Kafka官网中,可以下载安装文件Kafka_2.11-2.2.1,前面的2.11就是支持的scala版本号,后面的2.2.1是Kafka自身的版本号。解压安装包sudo tar -zxvf kafka_2.11-原创 2020-09-29 20:09:13 · 916 阅读 · 0 评论 -
Flume入门案例小笔记
Flume监控端口数据小案例案例目的 使用 Flume 监听一个端口,收集该端口数据,并打印到控制台。实现步骤安装netcat工具,netcat所做的就是在两台电脑之间建立链接并返回两个数据流,具体用法可见:Linux Netcat 命令——网络工具中的瑞士军刀sudo yum install -y nc 判断44444端口是否被占用sudo netstat -tunlp | grep 44444 创建 Flume Agent 的配置文件 flume-netcat-logger.conf原创 2020-05-12 21:09:43 · 419 阅读 · 0 评论 -
sqoop安装及其使用
文章目录sqoop简介sqoop安装sqoop使用把MySQL中的数据导入到HDFS上将MySQL上的数据导出到数据库中记些bugsqoop简介sqoop是连接关系型数据库和hadoop的桥梁,主要有两个方面(导入和导出):将关系型数据库的数据导入到Hadoop 及其相关的系统中,如 Hive和HBase将数据从Hadoop 系统里抽取并导出到关系型数据库sqoop安装sqoop下载地址:Index of /dist/sqoop下载完成后把sqoop进行解压安装并配置,在添加sqo原创 2020-06-02 21:34:08 · 340 阅读 · 0 评论