墨玉浮白的博客

用于学习记录、技术提升

Flutter底部导航栏BottomNavigationBar

BottomNavigationBar是底部的导航栏,一般应用在多个视图进行选择。类比于Android的底部导航栏,由Text文本和Icon图标组成。 这里创建一个List为显示内容提供容器: static const List<Widget> _widget=&...

2019-08-16 10:19:51

阅读数 22

评论数 0

Material组件之MaterialApp、Scaffold、AppBar学习笔记

一、MaterialApp flutter的路由方式有两种:新建路由和注册路由 1.1 新建路由 Navigator.push负责将新建的路由添加到Navigator管理的route堆栈的栈顶,Navigator.pop用于弹出route堆栈最顶层的Route。其中页面进入动画是向上滑动并淡出,退...

2019-08-12 19:07:04

阅读数 49

评论数 0

Flutter Widget

文章目录一、Widget分类二、widget的状态三、根widget四、Basics4.1 模板和主题4.2 Text文本4.3 图片4.4 凸起按钮4.5 其他widget4.5.1 Row4.5.2 container 一、Widget分类 Widget的分类有很多类别,每个类别下面又包含很多...

2019-08-12 18:08:00

阅读数 33

评论数 0

Flutter之Dart入门

文章目录一、准备1.下载Dart插件:2.重启IDEA后,配置Dart SDK3.运行二、Dart变量三、基本数据类型3.1Number3.2String3.3 Boolean3.4 List3.5 Set3.6 Map四、函数4.1 可选参数4.2默认无参数值4.3 mian函数4.4 匿名函数...

2019-08-12 14:57:57

阅读数 30

评论数 0

Flutter环境搭建

一、下载Flutter SDK beta版本 1.Flutter官网下载最新Beta版本的进行安装:https://flutter.dev/docs/development/tools/sdk/releases 2.Flutter github项目中去下载,地址为:https://github.c...

2019-08-12 11:59:34

阅读数 43

评论数 0

SparkStreaming读取Socket数据

SparkStreaming是7*24h不间断运行,底层操作的是DStream。 读取Socket数据过程 1.SparkStreaming启动后,首先启动一个job,这个job有一个task一直接收数据。 2.task每隔一段时间(batchInterval)就把接收来的数据封装到batch中。...

2019-07-31 08:42:54

阅读数 115

评论数 0

SparkStreaming和Storm的区别

SparkStreaming是流式处理框架,是Spark API的扩展,支持可扩展、高吞吐量、容错的实时数据流处理,实时数据的来源可以是:Kafka(Kafka和SparkStreaming是黄金组合), Flume, Twitter, ZeroMQ或者TCP sockets,并且可以使用高级功能...

2019-07-31 08:16:10

阅读数 70

评论数 0

Spark 开窗函数

row_number() 开窗函数是按照某个字段分组,然后取另一字段的前几个的值,相当于 分组取topN 如果SQL语句里面使用到了开窗函数,那么这个SQL语句必须使用HiveContext来执行,HiveContext默认情况下在本地无法创建。在MySql8之后也增加了开窗函数。 开窗函数格式:...

2019-07-31 08:04:22

阅读数 54

评论数 0

Spark UDAF用户自定义聚合函数

UDAF的特点就是:N:1,目的就是为了做聚合(group by) UserDefinedAggregateFunction是用户自定义聚合函数要继承的抽象类,传参---->initialize初始化、update(RDD分区内部的合并)、merge(分区之间总结果之间的合并) cl...

2019-07-30 21:55:25

阅读数 39

评论数 0

Spark UDF用户自定义函数

自定义一个函数实现查询字符串长度。首先创建测试的DataFrame: val spark = SparkSession.builder().master("local").appName("UDF").getOrCreate() val nameL...

2019-07-30 21:45:28

阅读数 51

评论数 0

Spark读取Hive中的数据加载为DataFrame

读取Hive中的数据,必须开启enableHiveSupport。 val spark = SparkSession.builder() .appName("hive") .enableHiveSupport() .getOrCre...

2019-07-30 21:33:12

阅读数 57

评论数 0

Spark读取MySQL中的数据为DataFrame

Spark读取JDBC中的数据(以MySQL为例)为DataFrame,有两种方式。 //聚合的时候默认分区是200,可以在此设置 val spark = SparkSession.builder().master("local").appName("schema&q...

2019-07-30 21:30:06

阅读数 43

评论数 0

Spark读取Parquet格式的数据为Dataframe

SaveMode指定文件保存时的模式: OverWrite 覆盖 Append 追加 ErrorIfExists 如果存在就报错 Ignore 如果存在就忽略 val spark = SparkSession.builder().master("local").appNa...

2019-07-30 21:09:05

阅读数 57

评论数 0

Spark读取普通RDD加载为DataFrame

一、反射 将对象中的属性自动映射为Datafram的列,对象中属性的类型自动映射为Dataframe中schema分别对应id、name、age、score val spark = SparkSession.builder().master("local").appName(...

2019-07-30 21:00:05

阅读数 35

评论数 0

Spark读取json格式文件

一、普通json格式 val session = SparkSession.builder().appName("sql").master("local").getOrCreate() val df = session.read.format("j...

2019-07-30 19:39:50

阅读数 159

评论数 0

Spark Shuffle两种Manager

文章目录前言hashShuffleManager1.普通机制缺陷2.合并机制-优化sortShuffleManager1.普通机制2.byPass机制总结: 前言 reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value,然后生成一个新的RDD,元素类型是&a...

2019-07-28 09:49:58

阅读数 25

评论数 0

关于地图中轨迹的平滑移动的实现

很多人应该都有类似的经历,叫完车,想看看车离我还有多远距离?但手机屏幕上的车不是一动不动,就是一跳一跳的漂移。 目前市面上大多产品“轨迹平滑移动”做的并不好。 市面上只有快的打车和一号专车实现了平滑移动,那么这是怎么做的呢? -----------------------------------...

2019-07-24 09:20:50

阅读数 109

评论数 0

Spark累加器

i+=1在Excutor端执行,var i = 0和println(i)在Driver端执行。collect算子虽然能够回收结果,但是并不代表它啥都能回收。所以打印出来的依旧是Driver端定义的i。 错误代码: //打印出来的总是0 val session = SparkSession.b...

2019-07-23 21:33:42

阅读数 26

评论数 0

Spark广播变量

把list定义为broadCastList变量,当Executor用到了这个变量,每个Executor的BlockManager会管理broadCastList。以后如果Executor端用到了这个变量,Driver端发送Task的时候就没必要携带这个变量了。 task抵达Executor后,首先...

2019-07-23 21:08:29

阅读数 26

评论数 0

数据算法——Spark的TopN实现

1.scala实现: /** * TOPN:维持一个定长数组,先塞满,然后把剩下的逐个对应数组中的元素, * 有大的就把小的弹出去,大的加进来,并移动位置来重新排序 */ object TopN { def main(args: Array[String]): Unit = { ...

2019-07-23 20:31:50

阅读数 61

评论数 0

提示
确定要删除当前文章?
取消 删除