java
文章平均质量分 90
Neko、
这个作者很懒,什么都没留下…
展开
-
3.Spark SQL——入门
3.Spark SQL——入门Spark SQL简介Spark SQL允许Spark执行用SQL, HiveQL或者Scala表示的关系查询。这个模块的核心是一个新类型的RDD-SchemaRDD。SchemaRDDs由行对象组成,行对象拥有一个模式(scheme)来描述行中每一列的数据类型。SchemaRDD与关系型数据库中的表很相似。可以通过存在的RDD、一个Parquet文件、一个JSON数据库或者对存储在Apache Hive中的数据执行HiveSQL查询中创建。Spark仓库的github地原创 2021-03-09 16:41:23 · 265 阅读 · 0 评论 -
2.Spark RDD
Spark RDD弹性分布式数据集弹性分布式数据集(RDD)是Spark的基本数据结构。它是一个不可变的分布式对象集合。 RDD中的每个数据集划分为逻辑分区,可以在集群的不同节点上计算。 RDD可以包含任何类型的Python,Java或Scala对象,包括用户定义的类。形式上,RDD是只读的,分区的记录集合。 RDD可以通过对稳定存储器或其他RDD上的数据的确定性操作来创建。 RDD是可以并行操作的元件的容错集合。有两种方法来创建RDD :并行化驱动程序中的现有集合引用外部存储系统中的数据集,原创 2021-03-09 16:40:08 · 198 阅读 · 0 评论 -
1.Spark简介
Apache Spark简介Apache Spark是一种快速的集群计算技术,专为快速计算而设计。它基于Hadoop MapReduce,它扩展了MapReduce模型,以有效地将其用于更多类型的计算,包括交互式查询和流处理。 Spark的主要特性是它的内存中集群计算,提高了应用程序的处理速度。Spark旨在涵盖各种工作负载,如批处理应用程序,迭代算法,交互式查询和流式处理。除了在相应系统中支持所有这些工作负载之外,它还减少了维护单独工具的管理负担。Apache Spark的特性Apache Spa原创 2021-03-09 16:37:39 · 233 阅读 · 0 评论 -
DynamoDB高级接口
介绍WS SDK for Java提供了 DynamoDBMapper 类,可以将代码中的类和DynamoDB的表进行映射。在使用DynamoDBMapper之前,应该先将DynamoDB表中的项目与相应的对象实例定义关系。利用DynamoDB来操作表。**注意:**DynamoDBMapper可以访问表,执行创建、读取和删除(这里指的是项目,并不是可以对表进行这些操作),要想对表进行操作只能使用DynamoDB的低级接口。支持的数据类型Amazon DynamoDB 支持以下基元 Java 数据类原创 2020-12-07 13:44:00 · 343 阅读 · 0 评论 -
使用Java对dynamodb进行增删改查等操作(dynamodb的低级接口)
import com.amazonaws.client.builder.AwsClientBuilder;import com.amazonaws.services.dynamodbv2.AmazonDynamoDB;import com.amazonaws.services.dynamodbv2.AmazonDynamoDBClientBuilder;import com.amazonaws.services.dynamodbv2.document.*;import com.amazonaws.s原创 2020-12-04 10:14:34 · 1012 阅读 · 0 评论 -
自定义接口监听器
自定义接口监听器监听器用于监听web应用中某些对象、信息的创建、销毁、增加,修改,删除等动作的发生,然后作出相应的响应处理。当范围对象的状态发生变化的时候,服务器自动调用监听器对象中的方法。常用于统计在线人数和在线用户,系统加载时进行信息初始化,统计网站的访问量等等。我们在自定义控件类中也需要实现一些属性变化的监听器,可以实现自己特定的需求,比较灵活。一、自定义监听器的实现我们以Button...原创 2018-10-28 14:06:19 · 1146 阅读 · 1 评论