整体了解一些大数据组件
文章平均质量分 92
该系列下的每篇文章都会对每个组件的全貌进行一个描述,限于每一时期的认知水平不同,内容会尽量详实
琪得龙东强
IT届的小学生
展开
-
大数据存储组件–hdfs
官网给出的介绍The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems. However, the differences from other distributed file systems are signif.原创 2021-04-12 17:42:29 · 1096 阅读 · 0 评论 -
简单了解Scala语言
Scala快速入门-新手必备while循环语句def main(args: Array[String]): Unit = { var n=2 var r=3 while (n > 0) { r = r * n n -= 1 println(r) } do{ r = r * n n -= 1 println("ss"+r) }while(n > 0) }66原创 2020-10-19 00:30:15 · 391 阅读 · 0 评论 -
数据采集组件-flume
大数据开发工程师面试之flume–设计常见agent的配置Flume1.9.0是什么Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。flume是一个数据采集工具,agent是flume的一个基本单元Source用于采集数据,Source 是产生数据流的地方,同时 Source 会将产生的原创 2020-12-08 10:43:38 · 478 阅读 · 0 评论 -
大数据面试之spark
大数据开发工程师面试之spark-涉及多个方面Scala的一些知识1、Scala和Java的区别对比的内容Scalajava变量声明只需要声明是val或是var,具体的类型由编译器自行推断需要在变量前面先注明变量的类型返回值申明返回值是在后面,并不需要return语句,也可以用如果有返回值,需要return语句结束符不需要使用分号作为结束符每个语句结束需要作为结束符循环循环语句可以用于守卫不能通配符_*构造器构造器名称为this原创 2020-11-30 17:23:27 · 372 阅读 · 0 评论