- 博客(5)
- 资源 (44)
- 收藏
- 关注
原创 kafka学习文档(Kafka基本概念、Kafka内部逻辑组成)
kafka学习文档【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】kafka命令操作,看我博客kafka集群搭建,看我博客一、Kafka基本概念1.Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka 是一个分布式的基于发布/订阅模式的消息队
2020-07-28 20:48:20 221 1
原创 sqoop学习文档(2){Sqoop import、Sqoop export}
sqoop学习文档(2)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】接我上一篇文章,sqoop学习文档(1)三、Sqoop import导入数据Sqoop import:将数据从关系型数据库导入大数据集群导入工具将单个表从RDBMS(关系型数据库)导入到HDFS。表中的每一行在HDFS中均表示为单独的记录。记录可以存储为文本文件(每行一个记录),也可以二进制表示形式存储为Avro或SequenceFiles。1.RDBMS(关系型数据库)到HDFS(1)确定Mysql
2020-07-28 16:58:48 178 1
原创 Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}
Sqoop学习文档(1)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】总内容:Sqoop基本概念、Sqoop的安装配置、Sqoop import、Sqoop export此篇为Sqoop学习文档(1),接Sqoop学习文档(2)sqoop收集的是结构化数据,sqoop全量导入一、Sqoop基本概念1>Sqoop:SQL-to-Hadoop2>连接传统关系型数据库和Hadoop的桥梁把关系型数据库(Mysql)的数据导入到Hadoop系统,如HDFS/Hba
2020-07-28 16:36:11 147
原创 Flume学习文档(2){Flume安装部署、Flume配置文件}
Flume学习文档(2)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】接我上一篇文章,Flume学习文档(1)3.Flume的安装配置(1)下载并解压到官网进行下载(2)修改flume配置文件flume-env.sh.template4.Flume配置文件(1)案例一使用Flume监听一个端口,收集该端口数据,并打印到控制台1>安装netcat工具yum install -y nc{在用yum安装前虚拟机光盘需要连接,并创建挂载目录及挂
2020-07-27 11:19:23 277
原创 Flume学习文档(1){Flume基本概念、Flume事件概念与原理}
Flume学习文档(1)【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】总内容:Flume基本概念、Flume事件概念与原理、Flume安装部署、Flume配置文件日志数据收集 收集的是非结构化数据flume不能传输图片`,文本文件可以sqoop收集的是结构化数据,sqoop全量导入1.Flume基本概念1> 概念Flume由Cloudera公司开源。是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据的简单灵活的体系结构。它具有
2020-07-27 10:10:20 303
jsonpath语法规则.docx
2020-06-09
引用pyecharts包出问题.docx
2020-06-09
关于pip的一些简单命令及解决pip下载包速度慢的问题.docx
2020-06-09
《python数据分析与挖掘实战》学习笔记代码.zip
2020-05-23
《python数据分析与挖掘实战》第五章总结.docx
2020-05-23
《python数据分析与挖掘实战》第二章总结.docx
2020-05-23
《python数据分析与挖掘实战》第一章总结.docx
2020-05-23
第五章代码问题.docx
2020-05-22
Hbase完全分布式集群搭建(详细+,看完就会,).docx
2020-05-04
Zookeeper3.4.5集群搭建(详+,一看就会).docx
2020-05-04
修改my.cnf之后启动mysql出错(完美解决).docx
2020-05-03
mysql5.5安装好找不到my.cnf(看完你就懂了).docx
2020-05-03
安装mysql5.7时日志文件中找不到密码.docx
2020-05-02
linux下安装及配置mysql5.7.docx
2020-05-02
linux下安装hive2.3.6(完全分布式下).docx
2020-05-02
linux下安装mysql5.5.docx
2020-05-02
Linux下搭建spark.docx
2020-05-01
windows下搭建spark.docx
2020-05-01
423·读书月丨名家名著知识问答挑战赛 关键词搜索
2022-05-03
2021近代史期末复习重点总结.zip
2021-12-23
大数据技术与应用专业人才培养模式研究.zip
2020-11-06
以就业能力为导向的应用型本科大数据技术专业人才培养模式研究.pdf
2020-11-05
2019 年事业单位工会系统招聘考试《工会基础知识》 真题库及答案【2019版】.pdf
2020-11-02
intel开发手册.zip
2020-11-02
关于空调应用、实用总结.zip
2020-11-02
衡水高中全科试卷 word版_698.zip
2020-11-01
kafka学习文档(Kafka基本概念、Kafka内部逻辑组成).docx
2020-07-28
sqoop学习文档(2){Sqoop import、Sqoop export}.docx
2020-07-28
Sqoop学习文档(1){Sqoop基本概念、Sqoop的安装配置}.docx
2020-07-28
Flume学习文档(2){Flume安装部署、Flume配置文件}.docx
2020-07-27
Flume学习文档(1){Flume基本概念、Flume事件概念与原理}.docx
2020-07-27
基于JAVA API方式使用Kafka——编写生产者客户端.docx
2020-06-11
kafka0.10.2.1集群搭建.docx
2020-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人