- 博客(14)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 JUC-volatile
1.JUC简述JUC-Java.util.concurrent：高并发中的一个工具类我们所在执行自己的业务逻辑时，通常都是单线程，这样就不会涉及到并发执行的情况，但是我们一旦启用多线程，就会有线程安全的状况发生，而JUC就是解决这个问题的一个工具，首先让我们了解一下JUC的几个特性，了解JUC前还得连接volatile2.我们先说说volatile这个关键字volatile：...
2019-11-28 19:25:27
8512
原创 Spark Streaming-Dstream转换
DStream上的原语与RDD的类似，分为Transformations（转换）和Output Operations（输出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey()、transform()以及各种Window相关的原语。1.无状态转化操作 无状态转化操作就是把简单的RDD转化操作应用到每个批次上，也就是转化DStrea...
2019-11-21 16:22:11
8418
原创 Spark Streaming-Dstream创建
Spark Streaming原生支持一些不同的数据源。一些“核心”数据源已经被打包到Spark Streaming 的 Maven 工件中，而其他的一些则可以通过 spark-streaming-kafka 等附加工件获取。每个接收器都以 Spark 执行器程序中一个长期运行的任务的形式运行，因此会占据分配给应用的 CPU 核心。此外，我们还需要有可用的 CPU 核心来处理数据。这...
2019-11-21 11:25:34
8588
原创 Spark Streaming-Dstream入门
1.Wordcount案例（1）添加依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.1.1</version>&...
2019-11-21 10:05:09
8506
原创 Spark Streaming-概述
1.Spark Streaming是什么 Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。...
2019-11-21 09:55:39
8416
原创 Spark SQL-数据源
一、通用加载/保存方法1. 手动指定选项 Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。 Spark SQL的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQ...
2019-11-21 08:38:04
8433
原创 Spark SQL-编程
1.SparkSession新的起点 在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。 SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和Hi...
2019-11-20 22:48:07
8432
原创 Spark SQL-概述
1.什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 对比Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以...
2019-11-20 21:39:01
9943
原创 SparkCore-RDD编程进阶
一、累加器 累加器用来对信息进行聚合，通常在向 Spark传递函数时，比如使用 map() 函数或者用 filter() 传条件时，可以使用驱动器程序中定义的变量，但是集群中运行的每个任务都会得到这些变量的一份新的副本，更新这些副本的值也不会影响驱动器中的对应变量。如果我们想实现所有分片处理时更新共享变量的功能，那么累加器可以实现我们想要的效果。1.系统累加器 ...
2019-11-20 16:39:40
8425
原创 SparkCore-数据读取与保存
Spark的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。 文件格式分为：Text文件、Json文件、Csv文件、Sequence文件以及Object文件； 文件系统分为：本地文件系统、HDFS、HBASE以及数据库。一、文件类数据读取与保存1.Text文件（1）数据读取:textFile(String)scala&...
2019-11-20 16:24:43
8411
原创 SparkCore-键值对RDD数据分区器
Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数注意：(1)只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD分区器的值是None(2)每个RDD的分区ID范围：0~numPa...
2019-11-20 11:19:45
8401
原创 SparkCore-RDD编程
一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(...
2019-11-20 10:06:51
8410
原创 Spark基础解析
一、Spark概述1.什么是Spark 1.1 定义Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎 1.2 历史2009年诞生于加州大学伯克利分校AMPLab,项目由Scala编写 2010年开源 2013年6月成为Apache的孵化项目 2014年2月成为Apache的顶级项目2.Spark的内置模块Spark Core：实现了...
2019-11-19 15:10:03
8367
原创 Spark中的算子
现在是2019年11月14日22点11分，刚看完尚硅谷老师spark的第二天视频，对于老师讲RDD中的算子特别感兴趣，于是写在这里记录一下目录一、value类型1、转换数据结构，形成新的RDD（map)2.改变数据结构，相当于数据的批处理(mapPartitions)3.分片的索引值,找出数据及其所在分区(mapPartitionsWithIndex)4.将每一个分区形成一...
2019-11-14 22:25:47
8442
班级管理系统E-R图 Oracle数据库
2018-12-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人