余额不足

技术框架&工作小结

[Flink基本概念与部署]--部署方式【二】

一、支持的部署方式 Local Standalone Yarn Mesos Docker Kubernetes AWS ……   二、几个角色 ResourceManager NodeManager AppMaster Container YarnSession 注:选择On Ya...

2018-12-17 21:11:29

阅读数:4

评论数:0

[Flink基础]-- 一致性的3个级别

Flink 是流处理器,那么同样会涉及到一致性的3个级别,他们分别如下 1、at-most-once 这其实是没有正确性保障的委婉说法,故障发生后,计数可能丢失。 2、at-least-once 这表示计数结果可能大于正确值,但是绝不会小于正确值,即计数程序发生故障后可能多算,但是绝不会少...

2018-12-13 11:26:32

阅读数:19

评论数:0

[Scala 基础]-- 词汇语法

英文原文:https://www.scala-lang.org/files/archive/spec/2.11/01-lexical-syntax.html#integer-literals 词法语法 Scala程序使用Unicode Basic Multilingual Plane(BMP)...

2018-12-11 12:32:54

阅读数:34

评论数:0

[Flink基础]-- 与其他实时计算框架对比

对比其他计算框架 Spark Storm Flink Streaming Model Micro-batch Native Native Fault Tolerance RDD based checkpointing Record ACKs checkpoint Late...

2018-12-07 23:30:09

阅读数:895

评论数:0

[Phoenix基础]-- 二级索引应该使用local Index还是global Index?

版本:phoenix 4.12.0 说明: 1、一个global index表对应着一个hbase 表,local index是在主表上新增一列存储索引数据。 2、适用场景 global index :适用于多读的场景,但是存在同步索引时带来网络开销较大的问题。 local index ...

2018-11-29 22:49:06

阅读数:34

评论数:0

[Spark进阶]-- 内存管理

前言 Spark 的内存管理是内存分布式引擎中的一个重要角色,了解内存管理机制和原理,才能更好地做优化。 内容 1、静态内存管理(Spark 1.6.x版本前的策略) 静态内存管理图示——堆内 Unroll 的源码参考:https://github.com/apache/spark/blob...

2018-11-27 23:15:53

阅读数:716

评论数:4

[Spark 进阶]-- 优化Spark作业以获得最佳性能

感谢原文作者:https://michalsenkyr.github.io/2018/01/spark-performance Spark作业的开发在表面上看起来很容易,而且大部分都是如此。提供的 API设计精良且功能丰富,如果您熟悉Scala集合或Java流,您将立即完成实施。实际上,当在集群...

2018-11-21 19:37:05

阅读数:49

评论数:0

[Git]-- 团队合作中常见的缩写

今天在查问题的时候,意外地在 github 上发现了一些迷之简写的回复,于是乎,整理了下下,希望对大家有帮助。 1、先看看我发现的简写 2、再看看神秘的简写 PR: Pull Request(拉取请求,给其他项目提交代码) LGTM: Looks Good To Me(我知道了,代码已...

2018-11-21 10:58:55

阅读数:51

评论数:0

[Java基础]--获取星期/月/年或周数

感谢原文作者:https://www.oreilly.com/library/view/java-cookbook/0596001703/ch06s11.html 1、问题 现有一个日期,需要查找该日期的星期几,月份或年份。 2、解决方法 使用Calendar类的get()方法,该方法具有用于...

2018-11-20 09:45:11

阅读数:19

评论数:0

[Flink基础]--Spark VS Flink

感谢原文作者:http://blog.madhukaraphatak.com/introduction-to-flink-for-spark-developers-flink-vs-spark/ 面向Spark开发人员的Apache Flink简介:Flink vs Spark 世界还需要另一...

2018-11-13 22:43:32

阅读数:42

评论数:0

[HBase基础]--LSM树由来、设计思想以及应用到HBase的索引

感谢原文作者: E-mail: huahuiyang@gmail.com https://www.linkedin.com/in/huahuiyang/ http://www.cnblogs.com/yanghuahui/p/3483754.html   讲LSM树之前,需要提下三种基本的...

2018-11-09 16:50:48

阅读数:35

评论数:0

[Spark进阶]--Spark RDMA技术

Apache Spark RDMA插件 Apache Spark™是一种用于大规模数据处理的开源,快速和通用引擎。Spark提供了一个接口,用于使用隐式数据并行和容错来编程整个集群。 概览 Apache Spark™为程序员提供了一个以数据结构为中心的API,称为弹性分布式数据集(RDD),...

2018-11-09 12:57:50

阅读数:104

评论数:0

[Spark进阶]--再识spark高阶架构

Spark EcoSystem几乎都是以 Spark Core为核心而构建起来的,那么,先看看 Spark Core的高阶架构: 分别介绍下几个概念 1、Driver Programs         A driver program is an application that uses...

2018-11-09 12:50:32

阅读数:57

评论数:0

[Spark版本更新]--Spark-2.4.0 发布说明

2018-11-02 Apache Spark 官方发布了 2.4.0版本,以下是 Release Notes,供参考:  Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SP...

2018-11-09 09:33:26

阅读数:327

评论数:0

[Spark基础]-- Spark 内置数据源 options 名称

在 Spark-2.1.0 以后支持的 Options 如下: --------- JDBC’s options --------- user password url dbtable driver partitionColumn lowerBound upperBound ...

2018-11-08 22:53:15

阅读数:70

评论数:0

[Flink基本概念与部署]--Flink 编程模型【一】

一、Flink基本编程模型 图1  1、Stateful Stream Processing 它位于最底层, 是core API 的底层实现;推荐学习时使用,生产中以稳定为主,不建议使用。 processFunction:开发复杂、比较灵活,刚开始学习时,不推荐使用。 利用低阶 API,...

2018-10-23 19:06:39

阅读数:62

评论数:0

[Spark版本更新]--Spark-2.3.2发布说明

2018-09-24 Apache spark又发布新版本了,看看发行说明: sub-task [ SPARK-24976 ] - 允许十进制类型转换null(特定于PyArrow 0.9.0) bug [ SPARK-23243 ] - 在RDD上随机广播+重新分区可能导致错误答案 [ ...

2018-10-11 19:20:56

阅读数:144

评论数:0

[Mysql语法]--update inner join使用(批量更新)

一:需求 A表和B表的表结构相同,A表是历史表,B表是增量数据表;想要根据关联条件更新A表中的数据。 二:表结构 CREATE TABLE `A` (   `id` bigint(20) NOT NULL AUTO_INCREMENT,   `bid` bigint(20) NOT NUL...

2018-10-11 09:55:10

阅读数:231

评论数:0

[Flink基础]--Apache Flink中的广播状态实用指南

感谢英文原文作者:https://data-artisans.com/blog/a-practical-guide-to-broadcast-state-in-apache-flink Apache Flink中的广播状态实用指南 从版本1.5.0开始,Apache FlinkⓇ具有一种新的状...

2018-09-29 13:06:36

阅读数:339

评论数:0

[Flink基础]--什么是流处理?

感谢原文作者:https://data-artisans.com/what-is-stream-processing 什么是流处理? Data Artisans由ApacheFlink®的原始创建者创建,我们花了很长时间来解决流处理领域的问题。在这篇介绍性文章中,我们将提供有关流处理和Apac...

2018-09-29 12:56:46

阅读数:222

评论数:0

提示
确定要删除当前文章?
取消 删除