余额不足

技术框架&工作小结

排序：
默认
按更新时间
按访问量
RSS订阅

原 [Flink基本概念与部署]--部署方式【二】

一、支持的部署方式 Local Standalone Yarn Mesos Docker Kubernetes AWS ……   二、几个角色 ResourceManager NodeManager AppMaster Container YarnSession 注：选择On Ya...

2018-12-17 21:11:29

阅读数：4

评论数：0

原 [Flink基础]-- 一致性的3个级别

Flink 是流处理器，那么同样会涉及到一致性的3个级别，他们分别如下 1、at-most-once 这其实是没有正确性保障的委婉说法，故障发生后，计数可能丢失。 2、at-least-once 这表示计数结果可能大于正确值，但是绝不会小于正确值，即计数程序发生故障后可能多算，但是绝不会少...

2018-12-13 11:26:32

阅读数：19

评论数：0

译 [Scala 基础]-- 词汇语法

英文原文：https://www.scala-lang.org/files/archive/spec/2.11/01-lexical-syntax.html#integer-literals 词法语法 Scala程序使用Unicode Basic Multilingual Plane（BMP）...

2018-12-11 12:32:54

阅读数：34

评论数：0

原 [Flink基础]-- 与其他实时计算框架对比

对比其他计算框架 Spark Storm Flink Streaming Model Micro-batch Native Native Fault Tolerance RDD based checkpointing Record ACKs checkpoint Late...

2018-12-07 23:30:09

阅读数：895

评论数：0

原 [Phoenix基础]-- 二级索引应该使用local Index还是global Index？

版本：phoenix 4.12.0 说明： 1、一个global index表对应着一个hbase 表，local index是在主表上新增一列存储索引数据。 2、适用场景 global index ：适用于多读的场景，但是存在同步索引时带来网络开销较大的问题。 local index ...

2018-11-29 22:49:06

阅读数：34

评论数：0

原 [Spark进阶]-- 内存管理

前言 Spark 的内存管理是内存分布式引擎中的一个重要角色，了解内存管理机制和原理，才能更好地做优化。 内容 1、静态内存管理（Spark 1.6.x版本前的策略） 静态内存管理图示——堆内 Unroll 的源码参考：https://github.com/apache/spark/blob...

2018-11-27 23:15:53

阅读数：716

评论数：4

译 [Spark 进阶]-- 优化Spark作业以获得最佳性能

感谢原文作者：https://michalsenkyr.github.io/2018/01/spark-performance Spark作业的开发在表面上看起来很容易，而且大部分都是如此。提供的 API设计精良且功能丰富，如果您熟悉Scala集合或Java流，您将立即完成实施。实际上，当在集群...

2018-11-21 19:37:05

阅读数：49

评论数：0

原 [Git]-- 团队合作中常见的缩写

今天在查问题的时候，意外地在 github 上发现了一些迷之简写的回复，于是乎，整理了下下，希望对大家有帮助。 1、先看看我发现的简写 2、再看看神秘的简写 PR: Pull Request（拉取请求，给其他项目提交代码） LGTM: Looks Good To Me（我知道了，代码已...

2018-11-21 10:58:55

阅读数：51

评论数：0

译 [Java基础]--获取星期/月/年或周数

感谢原文作者：https://www.oreilly.com/library/view/java-cookbook/0596001703/ch06s11.html 1、问题 现有一个日期，需要查找该日期的星期几，月份或年份。 2、解决方法 使用Calendar类的get（）方法，该方法具有用于...

2018-11-20 09:45:11

阅读数：19

评论数：0

译 [Flink基础]--Spark VS Flink

感谢原文作者：http://blog.madhukaraphatak.com/introduction-to-flink-for-spark-developers-flink-vs-spark/ 面向Spark开发人员的Apache Flink简介：Flink vs Spark 世界还需要另一...

2018-11-13 22:43:32

阅读数：42

评论数：0

转 [HBase基础]--LSM树由来、设计思想以及应用到HBase的索引

感谢原文作者： E-mail: huahuiyang@gmail.com https://www.linkedin.com/in/huahuiyang/ http://www.cnblogs.com/yanghuahui/p/3483754.html   讲LSM树之前，需要提下三种基本的...

2018-11-09 16:50:48

阅读数：35

评论数：0

译 [Spark进阶]--Spark RDMA技术

Apache Spark RDMA插件 Apache Spark™是一种用于大规模数据处理的开源，快速和通用引擎。Spark提供了一个接口，用于使用隐式数据并行和容错来编程整个集群。 概览 Apache Spark™为程序员提供了一个以数据结构为中心的API，称为弹性分布式数据集（RDD），...

2018-11-09 12:57:50

阅读数：104

评论数：0

原 [Spark进阶]--再识spark高阶架构

Spark EcoSystem几乎都是以 Spark Core为核心而构建起来的，那么，先看看 Spark Core的高阶架构： 分别介绍下几个概念 1、Driver Programs         A driver program is an application that uses...

2018-11-09 12:50:32

阅读数：57

评论数：0

译 [Spark版本更新]--Spark-2.4.0 发布说明

2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考：  Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SP...

2018-11-09 09:33:26

阅读数：327

评论数：0

原 [Spark基础]-- Spark 内置数据源 options 名称

在 Spark-2.1.0 以后支持的 Options 如下： --------- JDBC’s options --------- user password url dbtable driver partitionColumn lowerBound upperBound ...

2018-11-08 22:53:15

阅读数：70

评论数：0

原 [Flink基本概念与部署]--Flink 编程模型【一】

一、Flink基本编程模型 图1  1、Stateful Stream Processing 它位于最底层， 是core API 的底层实现；推荐学习时使用，生产中以稳定为主，不建议使用。 processFunction：开发复杂、比较灵活，刚开始学习时，不推荐使用。 利用低阶 API，...

2018-10-23 19:06:39

阅读数：62

评论数：0

译 [Spark版本更新]--Spark-2.3.2发布说明

2018-09-24 Apache spark又发布新版本了，看看发行说明： sub-task [ SPARK-24976 ] - 允许十进制类型转换null（特定于PyArrow 0.9.0） bug [ SPARK-23243 ] - 在RDD上随机广播+重新分区可能导致错误答案 [ ...

2018-10-11 19:20:56

阅读数：144

评论数：0

原 [Mysql语法]--update inner join使用（批量更新）

一：需求 A表和B表的表结构相同，A表是历史表，B表是增量数据表；想要根据关联条件更新A表中的数据。 二：表结构 CREATE TABLE `A` (   `id` bigint(20) NOT NULL AUTO_INCREMENT,   `bid` bigint(20) NOT NUL...

2018-10-11 09:55:10

阅读数：231

评论数：0

译 [Flink基础]--Apache Flink中的广播状态实用指南

感谢英文原文作者：https://data-artisans.com/blog/a-practical-guide-to-broadcast-state-in-apache-flink Apache Flink中的广播状态实用指南 从版本1.5.0开始，Apache FlinkⓇ具有一种新的状...

2018-09-29 13:06:36

阅读数：339

评论数：0

译 [Flink基础]--什么是流处理？

感谢原文作者：https://data-artisans.com/what-is-stream-processing 什么是流处理？ Data Artisans由ApacheFlink®的原始创建者创建，我们花了很长时间来解决流处理领域的问题。在这篇介绍性文章中，我们将提供有关流处理和Apac...

2018-09-29 12:56:46

阅读数：222

评论数：0

提示
确定要删除当前文章？
取消 删除