排序:
默认
按更新时间
按访问量

Flink 1.4.2的安装

依赖需求 Java 1.8.0 Scala code runner version 2.11.2 Hadoop2.7   配置安装 首先解压安装包flink-1.4.2-bin-hadoop27-scala_2.11.tgz [root@hadoop222 conf]# tar...

2018-08-16 17:33:01

阅读数:51

评论数:0

Flink 原理与实现:Window 机制

Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制,这是我认为的 Flink 最大的亮点之一(其他...

2018-08-02 15:46:54

阅读数:63

评论数:0

Apache Flink:流处理中Window的概念

Apache Flink–DataStream–Window 什么是Window?有哪些用途?  下面我们结合一个现实的例子来说明。 我们先提出一个问题:统计经过某红绿灯的汽车数量之和?  假设在一个红绿灯处,我们每隔15秒统计一次通过此红绿灯的汽车数量,如下图:   可以把汽车的经过看成一个...

2018-08-02 15:41:51

阅读数:42

评论数:0

精通Apache Flink读书笔记--1、2

1、Apache Flink介绍 既然有了Apache Spark,为什么还要使用Apache Flink? 因为Flink是一个纯流式计算引擎,而类似于Spark这种微批的引擎,只是Flink流式引擎的一个特例。其他的不同点之后会陆续谈到。 1.1 历史 Flink起源于一个叫做Stra...

2018-08-02 15:38:28

阅读数:42

评论数:0

Spark性能优化指南——高级篇(转自美团)

前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——...

2018-04-01 22:05:39

阅读数:110

评论数:0

Spark性能优化指南——基础篇(转自美团)

前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学...

2018-04-01 22:00:47

阅读数:96

评论数:0

Spark Streaming 对接Kafka实现实时统计的问题定位和解决

整个思路:spark streaming 接受Kafka数据(KafkaUtils.createDirectStream) 然后累计值(updateStateByKey) 把值发给Kafka。整个过程出现两个问题,第一个问题是启动脚本的问题,第二个问题是添加性能参数的问题,第三个问题是认证过期问题...

2018-03-30 16:45:54

阅读数:161

评论数:0

Spring Cloud构建企业级总线-第十一部分常见问题

问题一:EMERGENCY! EUREKA MAY BE INCORRECTLY CLAIMING INSTANCES ARE UP WHEN THEY'RE NOT. RENEWALS ARE LESSER THAN THRESHOLD AND HENCE THE INSTANCES ARE N...

2018-02-12 10:33:42

阅读数:1119

评论数:0

Spring Cloud构建企业级总线-第十部分Spring Cloud与Dubbo比较

背景比较    Dubbo,是阿里巴巴服务化治理的核心框架,并被广泛应用于阿里巴巴集团的各成员站点。阿里巴巴近几年对开源社区的贡献不论在国内还是国外都是引人注目的,比如:JStorm捐赠给Apache并加入Apache基金会等,为中国互联网人争足了面子,使得阿里巴巴在国人眼里已经从电商升级为一家科...

2018-02-12 10:26:54

阅读数:160

评论数:0

Spring Cloud构建企业级总线-第九部分Spring Cloud其它组件

    本部分内容只是了解作用,没有深入使用,还待后续深入研究。服务链路追踪(Spring Cloud Sleuth)     微服务架构上通过业务来划分服务的,通过REST调用,对外暴露的一个接口,可能需要很多个服务协同才能完成这个接口功能,如果链路上任何一个服务出现问题或者网络超时,都会形成导...

2018-02-12 10:22:44

阅读数:109

评论数:0

Spring Cloud构建企业级总线-第八部分消息总线

前言    先回顾一下,在之前的spring Cloud Config的介绍中,我们还留了一个悬念:如何实现对配置信息的实时更新。虽然,我们已经能够通过/refresh接口,但是,若所有触发操作均需要我们手工去维护应用位置的话,这随着系统的不断扩张,会变的越来越难以维护,而消息代理中间件是解决该问...

2018-02-12 10:22:04

阅读数:78

评论数:0

Spring Cloud构建企业级总线-第七部分高可用服务注册中心

前言在Spring Cloud系列文章的开始,我们就介绍了服务注册与发现,其中,主要演示了如何构建和启动服务注册中心Eureka Server,以及如何将服务注册到Eureka Server中,但是在之前的示例中,这个服务注册中心是单点的,显然这并不适合应用于线上生产环境,那么下面在前文的基础上,...

2018-02-12 10:12:08

阅读数:86

评论数:0

Spring Cloud构建企业级总线-第六部分服务网关

     前面的文章我们介绍了,Eureka用于服务的注册于发现,Feign支持服务的调用以及均衡负载,Hystrix处理服务的熔断防止故障扩散,Spring Cloud Config服务集群配置中心,似乎一个微服务框架已经完成了。    我们还是少考虑了一个问题,外部的应用如何来访问内部各种各样...

2018-02-12 09:55:25

阅读数:132

评论数:0

【Hive】Hive笔记:Hive调优总结——数据倾斜,join表连接优化

数据倾斜即为数据在节点上分布不均,是常见的优化过程中常见的需要解决的问题。常见的Hive调优的方法:列剪裁、Map Join操作、 Group By操作、合并小文件。 一、表现      1.任务进度长度为99%,在任务监控页面中发现只有几个 reduce 子任务未完成;      2.单一 re...

2018-02-09 14:19:18

阅读数:118

评论数:0

Spring Cloud构建企业级总线-第五部分分布式配置中心

分布式配置管理应该是分布式系统和微服务应用的第一步。想象一下如果你有几十个服务或应用需要配置,而且每个服务还分为开发、测试、生产等不同维度的配置,那工作量是相当大的,而且还容易出错。如果能把各个应用的配置信息集中管理起来,使用一套机制或系统来管理,那么将极大的提高系统开发的生产效率,同时也会提高系...

2018-02-07 10:43:31

阅读数:55

评论数:0

Spring Cloud构建企业级总线-第四部分断路器

在微服务架构中,我们将系统拆分成了一个个的服务单元,各单元间通过服务注册与订阅的方式互相依赖。由于每个单元都在不同的进程中运行,依赖通过远程调用的方式执行,这样就有可能因为网络原因或是依赖服务自身问题出现调用故障或延迟,而这些问题会直接导致调用方的对外服务也出现延迟,若此时调用方的请求不断增加,最...

2018-02-07 10:28:24

阅读数:46

评论数:0

Spring Cloud构建企业级总线-第三部分服务消费者

Ribbon      Ribbon是一个基于HTTP和TCP客户端的负载均衡器。Feign中也使用Ribbon,后续会介绍Feign的使用。 Ribbon可以在通过客户端中配置的ribbon ServerList服务端列表去轮询访问以达到均衡负载的作用。当Ribbon与Eureka联合使用时...

2018-02-07 09:58:06

阅读数:63

评论数:0

Spring Cloud构建企业级总线-第二部分服务注册与发现

Spring Cloud会用到Spring Cloud Netflix,该项目是Spring Cloud的子项目之一,主要内容是对Netflix公司一系列开源产品的包装,它为Spring Boot应用提供了自配置的Netflix OSS整合。通过一些简单的注解,开发者就可以快速的在应用中配置一下常...

2018-02-07 09:45:30

阅读数:83

评论数:0

Spring Cloud构建企业级总线-第一部分引言和概述

引言 编写目的 背景与意义     在企业内部业务系统比较多,相互之间调用比较复杂,接口的维护花费比较大,并且不同的系统采用了不同的开发平台、传输协议、数据格式等,这种情况下就需要考虑使用ESB了。    企业服务总线(EnterpriseServiceBus,ESB)是构建基...

2018-02-05 09:20:00

阅读数:176

评论数:0

类加载机制

1、类加载机制概述 虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转换解析和初始化,最终形成可以被虚拟机直接使用的Java类型,这就是虚拟机的类加载机制。 在java中,类型的加载、连接和初始化过程都是在程序运行期间完成的,这种策略虽然会带来一些性能开销,但是却为j...

2018-01-29 16:37:02

阅读数:114

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭