- 博客(16)
- 收藏
- 关注
RSS订阅原创 SparkStreaming常见问题说明
一、关于SparkStreaming本地运行时线程数量的设置在本地运行Spark Streaming程序时，不能使用“local”或“local [1]”作为主URL。该设置即只有一个线程将用于本地运行任务。如果正使用基于接收器的输入DStream，则必须使用单个线程来运行接收器，而无法留下用于处理接收数据的线程。故本地运行时，始终使用“local [ n ]”作为主URL，其中n >要运行的接收器数量二、DStreams的输出操作print():在运行流应用程序的驱动程序节点上打印DSt
2020-12-25 19:43:36
652
原创 SparkStreaming----复习
一、SparkStreaming概述数据处理类型分类静态数据数据源是不变的、有限的、显式离散的多适用于批量计算、离线计算流数据数据是变动的、无限的、连续的多适用于实时计算，能在秒级、秒内处理完成实时数据分类：小时级、分钟级、秒级sparkstreaming是什么简单来说微批处理的流式（数据）实时计算框架。原理：是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，即可用于处理实时数据流。优点可以和spark core、sparksql等无缝集成支持从多种数
2020-12-25 19:28:14
212
原创 Hbase之shell和java操作----复习
一、shell操作hbase进入hbase shell环境在集群入口上执行：hbase shellhbase常用操作操作分类DDL操作DML操作Namespace系统操作(General)status：查看hbase集群状态version: 查看hbase的版本信息whoami : 当前操作hbase的用户是哪个DDL操作创建表(create)表名为Student，列族为base_info和advanced_infolist：列出所有表disable:禁用一张表 d
2020-12-24 09:46:54
199
原创 Hbase架构设计理解----复习
一、Hbase概述Hbase介绍Hbase是Hadoop database的简称Hbase是一个数据模型，属于Hadoop生态系统的一部分，提供对海量数据的随机实时读/写访问，构建在hdfs上，分布式面向列的数据库，拥有hdfs的分块存储、冗余、容错的优良特性HDFS和Hbase的对比HdfsHbase适于存储大文件的分布式文件系统建立在HDFS之上的数据库不支持快速单独记录查找，即顺序访问提供在较大的表快速查找，即随机访问，也可以顺序访问批量任务处
2020-12-23 20:27:54
131
原创 多数据集抽象类型对比分析
spark抽象数据集列表RDDDataFrameDataSet** 相同点**全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利三者都有惰性机制，在进行Transform操作时不会立即执行，在遇到Action操作时会正式提交作业执行。均采用spark的内存运算和优化策略，内存使用和执行效率上均可以得到保障。均有partition的概念，便于分布式并行计算处理，达到分而治之。均有许多共同的函数，如map、filter、sort等。在进行三者的相关操作时候，个别特殊操作时必
2020-12-22 21:07:37
198
原创 Spark Sql----复习
一、SparkSql简介SparkSQL是Spark处理数据的一个模块，专门用来处理结构化数据的模块，像json、csv，普通表格数据等均可，与基础RDD的API不同，Spark SQL中提供的接口将提供给更多关于结构化数据和计算的信息，并针对这些信息，进行额外的处理优化。DataFrames API：写spark代码，面向DF编程，可以与其它Spark应用代码无缝集成，比RDD更丰富的算子，更有利于提升执行效率、减少数据读取、执行计划优化。DataSets API：集成了RDD强类型和DataFra
2020-12-22 21:05:33
187
1
原创 Spark常用算子分析与应用---复习
一、算子概述什么是算子从狭义上来说是指一个函数空间到另一个函数空间（或它自身）的映射，广义上来说是指一个空间到另一个空间的映射。通俗点来说就是指事物（数据或函数）从一个状态到另一个状态过程的抽象实质就是映射，就是关系，就是变换。算子的重要作用1、算子越少灵活性就越低，则实现相同功能的编程复杂度越高，算子越多反之2、算子越少，表现力越差，面对复杂场景则易用性较差，算子越多的则反之MapRreduce与Spark算子比较MapReduce只有2个算子，Map和Reduce，绝大多数应用场景下，
2020-12-22 20:13:15
346
原创 Spark Core----复习
一、架构设计架构设计图相关术语名次解释RDD(Resilient Distributed DataSet)弹性分布式数据集,是对数据集在spark存储和计算过程的一种抽象是一组只读、可分区的分布式数据集合一个RDD包含多个分区Partition，分区是依照一定的规则的，将具有相同规则的数据记录在一起横向上可切分并行计算，以分区Partition为切分后的最小存储和计算单元。纵向上可进行内外存切换使用，即当数据在内存不足时，可以用外存磁盘来补充。Partition（分区）
2020-12-21 21:34:05
194
1
原创 spark初始----复习
一、spark的定义、特点定义:专为大规模数据处理而设计的快速通用的计算引擎，并形成一个高速发展应用广泛的生态系统。特点:速度快----内存计算下,spark比hadoop快100倍易用性----有80多个高级运算符、跨语言：使用Java，Scala，Python，R和SQL快速编写应用程序。通用性----Spark 提供了大量的库，包括SQL、DataFrames、MLib、GraphX、Spark Streaming,开发者可以在同一个应用程序中无缝组合使用这些库支持多种资源管理器----
2020-12-21 20:28:59
113
原创 HashMap和HashTable的区别----记录贴
一、HashMap简介HashMap是基于哈希表实现的，每一个元素是一个key-value对，其内部通过单链表解决冲突问题，容量不足（超过了阀值）时，同样会自动增长。HashMap是非线程安全的，只是用于单线程环境下，多线程环境下可以采用concurrent并发包下的concurrentHashMap。HashMap 实现了Serializable接口，因此它支持序列化，实现了Cloneable接口，能被克隆。二、HashTable简介Hashtable同样是基于哈希表实现的，同样每个元素是一个k
2020-12-21 20:12:56
104
原创 js基础
JavaScript的组成ECMAScript - JavaScript的核心ECMA欧洲计算机制造联合会。JavaScript的核心，描述了语言的基本语法和数据类型，ECMAScript是一套标准，定义了一种语言的标准与具体实现无关。BOM - 浏览器对象模型一套操作浏览器功能的API。通过BOM可以操作浏览器窗口，比如：弹出框、控制浏览器跳转、获取分辨率等。DOM - 文档对象模型一套操作页面元素的API。DOM可以把HTML看做是文档树，通过DOM提供的API可以对树上的节点进行操作。J
2020-08-27 16:30:27
111
原创 CSS基础
样式表内部样式表内嵌式是将CSS代码集中写在HTML文档的head头部标签中，并且用style标签定义，其基本语法格式如下：<head><style type="text/CSS"> 选择器 {属性1:属性值1; 属性2:属性值2; 属性3:属性值3;}</style></head>总结：语法中，style标签一般位于head标签中title标签之后，也可以把他放在HTML文档的任何地方。type=“text/CSS” 在html
2020-08-11 20:52:51
507
原创 HTMLday02总结-表格、表单
表格创建表格在HTML网页中，要想创建表格，就需要使用表格相关的标签。创建表格的基本语法格式如下：<table> <tr> <td>单元格内的文字</td> ... </tr> ...</table>1.table用于定义一个表格。2.tr 用于定义表格中的一行，必须嵌套在 table标签中，在 table中包含几对 tr，就有几行表格。3.td /td：用于定义表格中的单元格，必须嵌套在&l
2020-08-11 20:41:47
167
原创 HTMLday01总结
HTML初识HTML 作用就是用标记标签来描述网页，把网页内容在浏览器中展示出来。HTML骨架格式<HTML> <head> <title></title> </head> <body> </body></HTML>1 HTML标签：作用所有HTML中标签的一个根节点。根标签2 head标签： 文档的头部文档的头部描述了文档的各种属性和信息，包括文
2020-08-10 20:06:26
255
原创 MySQl-DDL
上一篇文章写了一些简单的DDL,表的创建和删除,如果创建表后想要对表进行更改,那么就会用到关键字alter更改表名alter table 表名 rename 新表名;更改字段名alter table 表名 change 列名 新列名 数据类型;更改表的列名 和 数据类型 当然数据类型可以不改,但是必须得写,添加字段alter table 表名add 列名类型;如 alter table t_teacher add birthday datetime; 默认添加到尾部alter table
2020-08-08 21:36:28
109
原创 MySQL基础一
1、数据库概述1.1数据库（DataBase） 数据库，顾名思义，就是遵循一定数据格式的数据集合，可以认为它是对文件系统的改进。它解决了不同操作系统之间，数据格式的兼容性问题。也就是说，只要是同一个数据库的数据文件，即使是从Windows迁移到了Linux上，也可以正常处理的。1.2关系型和非关系型的区别关系型数据库查询来数据,得到对象,而非关系型数据库,保存键值对 查询处理数据,得到数组。简单理解而关系型数据库 对于java而言,一个类就可以对应一个表,一个类对象就可以对应表中一行数据,一
2020-08-03 20:22:11
361
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人