- 博客(5)
- 收藏
- 关注
RSS订阅原创 Scala（一）
Scala入门概述什么是Scala从英文的角度来讲，Scala并不是一个单词，而是Scalable Language两个单词的缩写，表示可伸缩语言的意思。从计算机的角度来讲，Scala是一门完整的软件编程语言，那么连在一起就表示Scala是一门可伸缩的软件编程语言。之所以说它是可伸缩，是因为这门语言体现了面向对象，函数式编程等多种不同的语言范式，且融合了不同语言新的特性。Scala编程语言是由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计并开发的
2021-07-16 14:30:05
63
原创 Hadoop（MapReduce&Yarn）
第1章 MapReduce概述1.1 MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2 MapReduce优缺点1.2.1 优点1）MapReduce易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你.
2021-06-08 17:31:08
76
原创 HDFS总结（二）
第5章 NameNode和SecondaryNameNode（面试开发重点）5.1 NN和2NN工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。**因此产生在磁盘中备份元数据的FsImage。**这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效
2021-06-03 19:26:53
53
原创 HDFS总结（一）
第1章 HDFS概述1.1 HDFS产出背景1.2 HDFS优缺点HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作2.1 基础语法hadoop fs 具体命令 或者 hdfs dfs 具体命令2.2 命令大全[atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs[-appendToFile <localsrc> ... <dst>] [-ca
2021-06-01 16:37:27
117
1
原创 Hadoop介绍
第1章 大数据概论1.1 什么是大数据主要解决：海量数据的存储和海量数据的分析计算问题大数据中的存储单位：bit，byte，KB，MB，GB，TB，PB，EB，ZB1byte = 8bit 1KB = 1024byte 1MB = 1024KB 1GB = 1024MB 1TB = 1024GB …1.2 大数据特点Volume（大量）：数据量庞大Velocity（高速）：比如淘宝双十一Variety（多样）：数据库和文本为主的结构化数据，非结
2021-05-31 21:29:21
220
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人