- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 如何利用JAVA自定义一个线程池
先来一张图主线程往阻塞队列中PUT 任务（TASK,这里我们可以认为是一个RUNNABLE） 线程池冲阻塞队列中获取任务，如果线程池中的线程满了就需要等待某个线程任务执行完成并释放后再从队列中获取数据我们自定义的线程池分为以下几个步骤自定义阻塞队列 自定义拒绝策略 自定义工作者线程 自定义线程池 修改线程池参数，并进行测试1 自定义一个阻塞队列/**...
2020-03-29 13:43:39
524
原创 Flink 整合 Nacos实现动态服务配置功能Demo
1 前言当我们开发Flink程序的时候一些配置或一些规则可能需要根据系统要求或需求发生变更，一般常见的做法我们可以开启通过将配置或规则存储到数据库（如MYSQL,REDIS），然后通过在程序中我们自己通过JDBC连接的方式去读取规则。这样做比较麻烦，我们可以通过阿里开源的NACOS来协助我们实现这样的功能，NACOS 官网是如下定义的:Nacos 致力于帮助您发现、配置和管理微服务。Na...
2020-02-26 21:54:18
2973
原创 Flink SQL快速构建实时计算平台
1 描述利用FLINK SQL 构建一个数据实时分析平台,主要包含以下两个需要实现的需求点1 FLINK SQL 从KAFKA消费数据，并将数据写入到ES 通过KIBANA查询2 FLINK SQL 从KAFKA消费数据，计算每十分钟用户独立数据（UV）2 系统版本1 Java 8+2 flink 1.10 +3 elasticsearch 6+4 kibana 6...
2020-02-25 13:58:09
1942
1
原创 解析SparkStreaming和Kafka集成的两种方式
spark streaming是基于微批处理的流式计算引擎，通常是利用spark core或者spark core与spark sql一起来处理数据。在企业实时处理架构中，通常将spark streaming和kafka集成作为整个大数据处理架构的核心环节之一。针对不同的spark、kafka版本，集成处理数据的方式分为两种：Receiver based Approach和Direct App...
2020-02-22 22:24:14
291
原创 利用Flink迁移MYSQL数据Demo
环境1 Flink 1.4.12 java 1.8+3 mysql 5.7+Demo需求利用Flink从MYSQL数据库迁移数据并对数据进行处理后将数据迁移到另一个MYSQL库案例代码package com.bigdata.flink.java.demo;import com.bigdata.flink.scala.Constants;import ...
2020-02-22 12:01:01
1201
1
转载 Spark消费kafka的方式和区别
https://blog.csdn.net/woloqun/article/details/80635304
2019-11-08 23:10:05
184
原创 利用JAVA代码获得各操作系统内存
各系统获取系统内存的指令系统 命令 window wmic memorychip get capacity linux cat/proc/meminfo mac sysctl hw.memsize FreeBSD sysctl hw.physmem Java 获取系统内存package com.bigdata.sampler;...
2019-08-29 22:56:21
768
原创 成为一个卓越JAVA开发者的10个步骤
1 基础好和理解OOP原理对于java开发者来说，必须要很好的理解面向对象编程。如果对面向对象编程理解不到位,就不能理解类似于java这样面向对象编程语言的优美之处。如果你不能理解OOP的好处，即使你目前使用OOP编程，也是在使用过程的方式进行编码。仅学习面向对象的原理并没有多大的帮助。我们应该知道如何运用面向对象原理设计一个解决方案。因此我们需要对设计模式，继承，多态，封装等有较好的理解...
2019-08-26 17:37:58
152
原创 一文搞懂 Flink 的 Exactly Once 和 At Least Once【总结】
一文搞懂 Flink 的 Exactly Once 和 At Least Oncehttps://mp.weixin.qq.com/s/ZbDzxDgd9phmNIVhNhXImwBarrir总结1 Source会自动的插入一个Barrir 跟随Kafka消息一同发送到下游Operator算子2 当Operator1接收到Barrair（b1）后将触发checkpoint触发器...
2019-08-09 16:43:25
2341
原创 Yammer Metrics的使用
Yammer Metrics简介最近用到的某个框架，其官网提到利用Yammer Metrics来测量系统运行状态，需要对其统计的具体参数有个基本的了解，OK，那就需要弄清几个简单的问题：Yammer Metrics是什么？ Yammer Metrics收集哪些数据？ Yammer Metrics收集数据的基本过程、原理？Yammer Metrics的官网上述列了几个问...
2018-12-22 10:31:45
2767
翻译 Neo4j Cypher -> 介绍
本章包含了完整的，权威的Cypher查询语言文档简介简短的介绍可以查阅Section 3.1.1, “What is Cypher?， 查看Section 2.2, “Get started with Cypher”.获得Cypher初始了解，更多术语查阅 Appendix B, Terminology.什么是Cypher graph更新和查询 事物 Uniqueness(独特性...
2018-11-27 22:27:03
759
原创 Neo4J 图形数据库安装
下载Neo4j：neo4j-community-3.4.10-unix.tar.gz下载地址：https://neo4j.com/download-center/#releases 解压 neo4j-community-3.4.10-unix.tar.gztar -xvf neo4j-community-3.4.10-unix.tar.gz 创建软连接ln -s neo...
2018-11-27 20:54:18
173
原创 SHELL编程笔记
1 普通变量 略2 系统专用变量shell在初始化的时候会在执行profile等初始化脚本，脚本中定义了一些环境变量，这些变量会在创建子进程时传递给子进程。用env命令可以查看当前的环境变量。常用的系统环境变量如下：_(下划线) 上一条命令的最后一个参数 变量名称 描述 $UID 展开为当前用...
2018-09-20 14:13:29
546
翻译 Streaming(DataStream API): 概念介绍
Streaming(DataStream API)原文参考:https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/datastream_api.html#collection-data-sources Overview Flink DataStream Api 编程指南 在Flink中的DataSt...
2018-09-20 00:11:09
3228
转载 分布式系统的事务处理
当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题：1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。于是我们不得不对我们的服务器进行扩展，加入更多的机器来分担性能上的问题，以及来解决单点故障问题。 通常，我们会通过两种手段来扩展我们的数据服务：1）数据分区：就是把数据分块放在不同的...
2018-09-10 22:39:53
120
转载 Flink 原理与实现：内存管理
如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题：Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存：对象头占了8个，boolean 属性占了1个，对齐填充占了7个。而实际上只需要一个bit（1/8字节）...
2018-09-06 16:49:53
1790
转载 Flink 原理与实现：如何处理反压问题
流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。目前主流的流处理系统 Storm/JStorm/Spark Streaming...
2018-09-06 10:19:39
3737
1
转载 Flink 原理与实现：Window 机制
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint 机制）。本文我们将介绍流式处理中的窗口概念，介绍 F...
2018-09-04 23:35:54
748
转载 Flink 原理与实现：理解 Flink 中的计算资源
本文所讨论的计算资源是指用来执行 Task 的资源，是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念，如：Slot、SlotSharingGroup、CoLocationGroup、Chain等。并会着重讨论 Flink 如何对计算资源进行管理和隔离，如何将计算资源利用率最大化等等。理解 Flink 中的计算资源对于理解 Job 如何在集群中运行的有很大的帮助，也有利于我们更透彻...
2018-09-03 22:24:02
1015
转载 Flink 原理与实现：如何生成 StreamGraph
继上文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。 StreamGraph 相关的代码主要在 org.apache.flink.streaming.api.graph 包中。构造StreamGraph的入口函数是 StreamGraph...
2018-09-02 17:33:11
1954
转载 Flink 原理与实现：架构和拓扑概览
架构要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager...
2018-09-02 00:44:42
895
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人