一次次尝试

希望你成为你想要的模样

MapReduce的Shuffle过程

MapReduce的Shuffle过程 (1).maptask优先在块文件本地启动任务,启动后根据给定的数据切片进行数据处理,各自负责一个块文件(一个分片), maptask读取数据,调用InputStream组件实现对数据一行一行的读取; (其实现类:FileInputStream,File...

2018-06-14 23:24:29

阅读数:184

评论数:0

MapReduce调优(完美版)

MapReduce调优一、调优的目的     充分的利用机器的性能,更快的完成mr程序的计算任务。甚至是在有限的机器条件下,能够支持运行足够多的mr程序。二、调优的总体概述     从mr程序的内部运行机制,我们可以了解到一个mr程序由mapper和reducer两个阶段组成,     其中map...

2018-06-14 22:48:23

阅读数:270

评论数:0

Spark性能优化:shuffle调优

文章目录1 shuffle调优1.1 调优概述1.2 ShuffleManager发展概述1.3 HashShuffleManager运行原理1.3.1 未经优化的HashShuffleManager1.3.2 优化后的HashShuffleManager1.4 SortShuffleManage...

2018-05-18 19:26:09

阅读数:145

评论数:0

Spark性能优化:数据倾斜调优

文章目录1 前言2 数据倾斜调优2.1 调优概述2.2 数据倾斜发生时的现象2.3 数据倾斜发生的原理2.4 如何定位导致数据倾斜的代码2.4.1 某个task执行特别慢的情况2.4.2 某个task莫名其妙内存溢出的情况2.5 查看导致数据倾斜的key的数据分布情况2.6 数据倾斜的解决方案2....

2018-05-18 18:33:17

阅读数:102

评论数:0

Spark性能优化:资源调优篇

在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资...

2018-05-18 18:27:48

阅读数:101

评论数:0

Spark性能优化:开发调优篇

在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。  然而,通过Spark开发出高性能的大数据计算作业,并不是那么简单的。如果没...

2018-05-18 18:23:10

阅读数:110

评论数:0

Hadoop3.0有哪些实用新特性

比Spark快10倍的Hadoop3.0有哪些实用新特性?hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。Hadoop 3.0简介Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4月已停止更新,这直接迫使Hadoop社区...

2018-05-10 22:06:38

阅读数:517

评论数:0

STS安装lombok几步骤

java 8提供了很多的新的特性,例如:lombok. 如何使用lombok? 一.下载lombok https://projectlombok.org/download 百度云链接: https://pan.baidu.com/share/init?surl=PLhByPm68rD6v...

2018-12-15 10:52:39

阅读数:14

评论数:0

Notepad++ 安装json和xml插件

json和xml插件下载: xml tools:https://sourceforge.net/projects/npp-plugins/files/XML%20Tools/ json 32位: https://sourceforge.net/projects/nppjsonviewer/fi...

2018-12-01 13:13:27

阅读数:103

评论数:0

JPA和mybatis的CRUD速度比较

SpringBoot版本:1.4.3.RELEASE 数据库:MySQL   插入速度比较(此时的数据表中基本为空) JPA插入一条数据 一次请求 插入一条数据,用时75ms,之后每次请求 插入一条数据,用时在3-5ms 一次请求 插入一万条数据(一万个save),用时 45590...

2018-11-19 14:24:30

阅读数:32

评论数:0

程序员必备的高效 Intellij IDEA 插件

1. .ignore 地址: https://plugins.jetbrains.com/plugin/7495--ignore 生成各种ignore文件,一键创建git ignore文件的模板,免得自己去写 截图:  2. lombok 地址: https://plugi...

2018-11-18 14:45:10

阅读数:35

评论数:0

Spark Streaming 和 Flink 谁是数据开发者的最爱

本文从编程模型、任务调度、时间机制、Kafka 动态分区的感知、容错及处理语义、背压等几个方面对比 Spark Streaming 与 Flink,希望对有实时处理需求业务的企业端用户在框架选型有所启发。 编程模型对比 运行角色 Spark Streaming 运行时的角色(standalo...

2018-10-18 14:24:00

阅读数:82

评论数:0

Apache Flink:详细入门

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一...

2018-10-12 17:20:42

阅读数:391

评论数:0

使用Apache Flink开始批处理

如果您最近一直在关注软件开发新闻,那么您可能听说过名为Apache Flink的新项目。我已经在这里和这里写了一些内容,但如果您不熟悉它,Apache Flink是新一代大数据处理工具,可以处理有限的数据集(这也称为批处理)或潜在的无限的数据流(流处理)。在新功能方面,许多人认为Apache Fl...

2018-10-12 16:57:29

阅读数:245

评论数:0

Flink技术架构

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。Flink将流处理和批处理统一起来,也就是说作为流处理看待时输入数据流是无界的;批处理被作为一种特殊的流处理,只是它的输入数据流被定义为有界...

2018-10-07 09:08:43

阅读数:186

评论数:0

RabbitMQ——rabbitmq单节点安装

直接来,就干,不要那么啰嗦~~~~~~~~~~~~ 1、添加Erlang Solutions key rpm --import http://binaries.erlang-solutions.com/debian/erlang_solutions.asc/ wget http://bina...

2018-09-24 19:25:55

阅读数:129

评论数:0

SQL优化

1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在...

2018-09-02 00:02:25

阅读数:162

评论数:0

Loader介绍及操作实例

Loader简介 FusionInsight HD Loader能实现FusionInsight HD与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件。支持将数据或文件从关系型数据库或文件系统导入到FusionInsight HD系统中。 Loader支持的导入场景:...

2018-08-18 16:08:57

阅读数:444

评论数:0

mongodb安装与配置和客户端的使用

mongodb的安装 1、mongodb安装地址: https://www.mongodb.com/download-center#community 进入如下网站:   2、下载完成后得到一个压缩包 (1)创建如下路径           D:/mongodb (2)...

2018-08-15 16:08:58

阅读数:97

评论数:0

MongoDB 集群请求连接被拒绝的分析

背  景 某运营商搭建了一套 MongoDB 集群,承载了大大小小的几十个非计费类应用,1亿左右的用户量,随着访问量的增加,业务繁忙时期偶尔出现连接拒绝的错误。 分  析 为了搞清楚原因,先从mongo访问数据库的模式说起,如下图:   我们发现客户端的请求是通过驱动连接到mongo...

2018-08-14 22:18:08

阅读数:238

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭