![](https://img-blog.csdnimg.cn/20200727080637685.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
记录我的学习之旅
fy_1852003327
2020年3月中旬,由一个博主视频让我开启CSDN之路
记录我的学习中的收获,并与大家分享
每一篇文章都会是倾心倾力,希望大家能指出不足的地方,互相进步,待我成为大牛之时,回首观望我的学习之旅,一路艰辛,我也满脸笑盈。
展开
-
kafka学习文档(Kafka基本概念、Kafka内部逻辑组成)
kafka学习文档【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】kafka命令操作,看我博客kafka集群搭建,看我博客一、Kafka基本概念1.Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka 是一个分布式的基于发布/订阅模式的消息队原创 2020-07-28 20:48:20 · 196 阅读 · 1 评论 -
sqoop学习文档(2){Sqoop import、Sqoop export}
sqoop学习文档(2)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】接我上一篇文章,sqoop学习文档(1)三、Sqoop import导入数据Sqoop import:将数据从关系型数据库导入大数据集群导入工具将单个表从RDBMS(关系型数据库)导入到HDFS。表中的每一行在HDFS中均表示为单独的记录。记录可以存储为文本文件(每行一个记录),也可以二进制表示形式存储为Avro或SequenceFiles。1.RDBMS(关系型数据库)到HDFS(1)确定Mysql原创 2020-07-28 16:58:48 · 156 阅读 · 1 评论 -
Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}
Sqoop学习文档(1)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】总内容:Sqoop基本概念、Sqoop的安装配置、Sqoop import、Sqoop export此篇为Sqoop学习文档(1),接Sqoop学习文档(2)sqoop收集的是结构化数据,sqoop全量导入一、Sqoop基本概念1>Sqoop:SQL-to-Hadoop2>连接传统关系型数据库和Hadoop的桥梁把关系型数据库(Mysql)的数据导入到Hadoop系统,如HDFS/Hba原创 2020-07-28 16:36:11 · 128 阅读 · 0 评论 -
Flume学习文档(2){Flume安装部署、Flume配置文件}
Flume学习文档(2)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】接我上一篇文章,Flume学习文档(1)3.Flume的安装配置(1)下载并解压到官网进行下载(2)修改flume配置文件flume-env.sh.template4.Flume配置文件(1)案例一使用Flume监听一个端口,收集该端口数据,并打印到控制台1>安装netcat工具yum install -y nc{在用yum安装前虚拟机光盘需要连接,并创建挂载目录及挂原创 2020-07-27 11:19:23 · 250 阅读 · 0 评论 -
Flume学习文档(1){Flume基本概念、Flume事件概念与原理}
Flume学习文档(1)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】总内容:Flume基本概念、Flume事件概念与原理、Flume安装部署、Flume配置文件日志数据收集 收集的是非结构化数据flume不能传输图片`,文本文件可以sqoop收集的是结构化数据,sqoop全量导入1.Flume基本概念1> 概念Flume由Cloudera公司开源。是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据的简单灵活的体系结构。它具有原创 2020-07-27 10:10:20 · 273 阅读 · 0 评论