- 博客(9)
- 收藏
- 关注
RSS订阅
1原创 Spark SQL基础使用
Spark SQL 是Spark用于结构化数据（structured data）处理的Spark模块Hive：基于Hadoop的SQL引擎工具，目的是为了简化MapReduce的开发，提高开发效率，可以把SQL转化成MapReduce程序（因为大数据统计用的是新的代码方式）Spark SQL 的前身是Shark，受Hive发展的制约Shark分为SparkSQL(兼容Hive)和Hive on Spark(计划将Spark作为Hive的底层引擎之一)SparkSQL为了简化RDD的开发写
2021-08-23 09:34:22
363
原创 个人的Scala学习笔记
记录一些新学到的scala知识，偶尔更新。1、构造方法的问题class SparkSession private( @transient val sparkContext: SparkContext, @transient private val existingSharedState: Option[SharedState], @transient private val parentSessionState: Option[SessionState], @tra
2021-08-17 15:05:47
357
原创 Mongoose源码分析（类型转换部分）
Mongoose源码Mongoose的底层是javaScript写的，javaScript只有一种数字类型Number，可以是整数或是小数，所以Mongoose也一样number部分：这部分是Number对不同类型转化为number的处理过程Mongoose它是对Node原生的MongoDB模块进行的进一步的优化封装Mongoose数据类型和MongoDB数据类型的转换在Node原生的MonogDB模块中完成源码部分：'use strict';const asse
2021-08-16 15:12:53
505
原创 Mongo的具体使用场景、例子和使用mongo的优缺点
mongo存储例子适合使用mongo的数据实时数据：mongo非常适合实时的插入，更新和查询，具备实时数据存储所需的复制及高度伸缩性关系简单的数据：MongoDB是个nosql数据，所以关系能力薄弱，不能像MySQL一样使用join，union来进行联合查找，只能通过结合一些特殊语法来达到类似的结果；事务能力薄弱，MongoDB里事务只能针对单条语句，不能像MySQL一样利用事务执行多条语句根据情况来选着全部提交执行或者全部取消回滚。数据量大的数据：自动分片形成的集群，可动态添加机器
2021-08-16 15:06:55
1618
原创 Mongoose的调研（介绍和使用）
Mongoose最近在学习mongo，发现mongoose这个工具，就来学习一下介绍Mongoose是通过Node来操作MongoDB的一个模块一般，他用来把结构化的模式应用到一个MongoDB集合，并提供了验证和自动类型转换通过关系型数据库的思想来实现非关系型数据库-Schema -Model => Mongoose => Mongodb -Document新名词：Schema：定义了数据库的文档作用，约束作用Model：相当于collectionDoc
2021-08-16 14:58:02
158
原创 Spark中RDD分区的源码分析
目录一、RDD分区的优势二、分区原理三、Hadoop切片机制一、RDD分区的优势Spark速度快的原因得益于它的RDD的数据处理方式，RDD有弹性、不可变、可分区、里面的元素可并行计算的特性。而RDD的并行计算是通过分区实现的，可以让计算更快。分区增加了RDD的容错，数据丢失或出现错误不会读取以整块数据，而只需重新读取出错的分区RDD的分区是Spark分布式的体现二、分区原理RDD为了提高并行计算的能力，提供了分区，把读取到的数据分为很多个区域，每个区域分发给一个
2021-08-16 14:41:31
329
原创 Gson在Scala中的使用，null类型的转换
官方描述：Gson是一个Java库，可用于将Java对象转换为其JSON表示。它还可以用于将JSON字符串转换为等效的Java对象。Gson 是用于将 Java 对象与 JSON格式字符串数据相互转换的 Java 库。它起初在Google 内部广泛使用在 Android 平台 和 Java 服务端上。2008 年开源之后，成为了谷歌又一个被广泛使用的开源框架，相同作用的类库还有 Spring Framework 中集成的 Jackson，以及阿里开源的 FastJson等。G
2021-08-12 15:29:07
1016
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人