Jayhenry-CSDN博客

原创 SparkCore学习

Spark概念Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎Spark 就是在传统的 MapReduce 计算框架的基础上，利用其计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的 RDD 计算模型Spark 和Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据通信是基于内存，而 Hadoop 是基于磁盘开发代码逻辑分为三大部分：建立spark框架连接、业务逻辑操作、关闭连接建立s

2021-04-11 09:21:36 395

原创 HDFS

HSFS概念HDFS（Hadoop DIstributed File System）为分布式文件管理系统中的一种，通过目录树来定位文件，由很多服务器联合起来实现期功能适用场景：适合一次写入，多次读出，且不支持文件修改。适合用来做数据分析，不适合用来做网盘应用。优缺点优点高容错性自动保存多个副本某一个副本丢失后可以自动恢复适合处理大数据数据规模：能够处理的数据规模达GB、TB甚至PB文件规模：能够处理百万规模以上的文件数量可以构建在廉价机器上，通过多副本机制提高可靠性

2021-03-29 19:28:44 106

原创 Hadoop序列化

Hadoop序列化概述序列化把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输为什么要序列化一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。为什么不用java序列化Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，Head

2021-03-29 19:26:06 81

原创 Hadoop环境搭建

Hadoop环境搭建虚拟机配置资源准备VMware https://forspeed.rbread05.cn/down/newdown/4/28/VMwareWorkstation.rar密钥 https://www.cnblogs.com/98han/p/13170117.htmlCentOS 7 https://www.cnblogs.com/defineconst/p/11176593.htmlXShell/Xftp 官网 https://www.netsarang.com/zh/

2021-03-29 19:24:00 118

原创 Scala入门

Scala多范式编程语言（面向对象编程和函数式编程），开发环境需要安装scala，部署环境有java环境即可正常运行重点：高阶函数，即函数可以作为参数传递六大特性混编类型自动推断适合高并发和分布式特征特质trait模式匹配高阶函数数据类型anyanyrefnothinganyvalnothing基本数据类型同javaunit表示空值nil表示长度为0的list开发特点没有类似于static的关键字，不能通过关键字修饰静态属性、方法、代码块

2021-03-28 11:17:02 100

原创 Zookeeper框架

Zookeeper基于观察者模式设计的分布式服务管理框架，用于存储和管理数据，然后接受观察者的注册，一旦管理的数据发生变化，Zookeeper就会通知已经注册的观察者做出相应反应（文件系统 + 通知机制）特点一个Leader，多个Follower集群中有半数以上节点存活，就可正常服务全局数据一致：每个serve保存一份相同的副本，client连接哪一个server，数据都是一致的更新请求顺序执行，来自同一个client的请求，按照发送顺序依次执行数据更新原子性：数据更新要么成功，要么失败实

2021-03-28 11:14:12 196

原创大数据及Hadoop入门

大数据及Hadoop入门大数据基础概念基础知识Hadoop入门概念优势版本差异Yarn架构功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入大数据基础概念大数据（Big Data）指无法在一定时间范围内用常规软件工具进行捕捉、管

2020-11-29 22:35:10 129

原创 Vue项目目录结构及功能

Vue项目目录结构及功能理解目录结构解析buildconfignode_modulessrc.assets.components.router.App.vue.main.jsstatic其他根目录文件静态文件存放问题目录结构解析build(不重要)下面是初建项目后的build文件夹1.build.js作为项目打包的时候（npm run build）的入口文件，通过这个js将整体项目打...

2019-07-21 19:46:03 720

sinat_38594401的博客