排序:
默认
按更新时间
按访问量

Flink开发实战二 ——实战案例

本文以flink本地模式 进行各个场景的实战开发 flink本地运行模式 Flink支持两种不同的本地运行机制:  LocalExecutionEnvironment启动完整的Flink运行环境,包括一个JobManager和一个TaskManager。这些包含了内存管理以及在集群模式下运...

2018-09-18 11:52:31

阅读数:19

评论数:1

flink开发实战一:flink集群的搭建与部署

flink实战案例一:flink集群的搭建与部署 1.下载Flink压缩包 下载地址:http://flink.apache.org/downloads.html 根据集群环境的情况下载相应的版本的flink压缩包 hadoop2.6,Scala2.11,所以下载:flink-1.5.0-bin-...

2018-09-17 22:08:19

阅读数:20

评论数:0

flume +kafka+SparkStreaming日志监控平台

流程图 采集方案#agentsectionproducer.sources= s1producer.channels= c1producer.sinks= k1#配置数据源producer.sources.s1.type=exec#配置需要监控的日志输出文件或目录producer.sources....

2018-07-02 18:38:51

阅读数:47

评论数:0

kafka工作原理与使用

1. Kafka概述1.1. 什么是KafkaApache Kafka是分布式发布-订阅消息系统(消息中间件)。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。简单说明什么是Kafka:举个例子...

2018-06-30 20:43:01

阅读数:214

评论数:0

Spark Streaming工作原理分析与使用

Spark Streaming入门1. 概述Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理。spark streaming提供是一种分布式计算能力。数据来源数据可以通过多种数据源获取, 例如 Kafka, Flume以...

2018-06-29 21:04:07

阅读数:78

评论数:0

hadoop2.0之mapReduce启动运行全流程解析

mapperReduce在Hadoop2.x中各部分简介:ResourceManager,RM :管理集群上资源使用的资源管理器:Application Master ,AM :管理集群上运行任务声明周期的应用管理器:          应用服务器MA和资源管理器RM协商集群的计算资源:容器(Co...

2018-04-20 16:55:35

阅读数:183

评论数:0

Hadoop之hdfs的工作原理和安装

一 HDFS简介(Hadoop Distributed File System)1简介:是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征...

2018-04-08 22:32:07

阅读数:167

评论数:0

redis的安装与使用

1.1 下载redis因为redis一般会在linux系统进行安装,所以下载时要下载linux系统的安装包。官网地址:http://redis.io/下载地址:http://download.redis.io/releases/redis-3.2.8.tar.gz因为Redis是用c语言写的 需要...

2018-04-01 16:52:26

阅读数:59

评论数:0

基于ssm三大框架实现登录注册功能的配置过程

第一步  ssm jar包整合,本人的下载资源里面有整合的jar包主要有:ssm整合jar包 ,jstl,数据库连接,josn junit,等jar包第二步,建立各类包和配置文件,尽量把各个配置文件分开,统一放在一个自己建立的config文件夹中,容易区分,后面也好检查更改主要配置,mybatis...

2018-03-17 16:35:13

阅读数:101

评论数:0

jdbc之mysql连接与操作

jdbc之mysql连接与操作

2017-12-20 19:17:46

阅读数:119

评论数:0

hbase实战-1

hbase实战 hbase官方文档: http://https://hbase.apache.org/ hbase简介 Apache HBase™是Hadoop数据库,这是一个分布式,可扩展的大数据存储。 当您需要随机,实时读取/写入您的大数据时使用Apache HBase™。该项目...

2018-09-10 21:27:40

阅读数:25

评论数:0

HA flume 高可用集群的搭建与使用

HA Flume流程图 搭载详细流程         在 flume1的sink中设置一个组group,这个组里面有两个sink,sink1和sink2.其中sink1负责把数据下沉到flume2。Sink2负责把数据下沉到flume3。并且设置优先级,比如 设置sink1的优先级为1000,设置...

2018-07-02 18:42:55

阅读数:115

评论数:0

flume 的安装与使用

1. 概述什么是flume?Flume是一种分布式,可靠且可用的服务,用于高效地收集,汇总和移动大量日志数据。它具有基于流式数据流的简单而灵活的架构。它具有可靠的可靠性机制以及许多故障转移和恢复机制,具有强大的容错性和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。Flume特性F...

2018-07-02 18:32:00

阅读数:37

评论数:0

kafka集群的搭建与使用

1. 下载Apache kafka 官方: http://kafka.apache.org/downloads.htmlScala 2.11  - kafka_2.11-0.10.2.0.tgz (asc, md5)2.Kafka集群安装第一步:安装JDK &配置JAVA_...

2018-06-30 20:33:57

阅读数:46

评论数:0

Spark HA集群模式的搭建和运行原理

HA出现的原因:Master-Slave模型很容易出现单节点故障的问题。所以为了应用这个问题,解决办法是通过Zookeeper来解决,在实际开发的时候一般都是三台,一个active,两个standby,当一个active挂掉后,Zookeeper会根据自己的选举机制,从standby的Master...

2018-06-11 19:57:10

阅读数:70

评论数:0

Spark的安装与使用

一  spark简介Spark是基于内存计算的大数据分布式计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。二架构及生态介绍:通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的...

2018-05-04 16:00:06

阅读数:36

评论数:0

Zookeeper原理解析与使用

一 简介ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。二 主要功能分布式系统中的主从协调分布式...

2018-04-29 18:10:03

阅读数:100

评论数:0

mapreduce的cleanUp和setUp的特殊用法(TopN问题)和常规用法

一:特殊用法我们上来不讲普通用法,普通用法放到最后。我们来谈一谈特殊用法,了解这一用法,让你的mapperreduce编程能力提高一个档次,毫不夸张!!!扯淡了,让我们进入正题:我们知道reduce和maper都有一个局限性就是map是读一行执行一次,reduce是每一组执行一次但是当我们想全部得...

2018-04-21 15:41:26

阅读数:264

评论数:0

MapReduce 程序内部数据处理流程全解析

主要分为以下几个阶段:1. 输入分片(input split):InputFormat有两个任务:对源文件分片,确定Mapper数量;对分片进行格式化,处理成<key,value>形式的数据给Mapper在进行map计算之前,mapreduce会根据输入...

2018-04-20 16:46:07

阅读数:185

评论数:0

java内存模型和volatile关键字

一 理解java内存模型之前的知识补充计算机在执行程序时,每条指令都是在CPU中执行的,而执行指令过程中,势必涉及到数据的读取和写入。由于程序运行过程中的临时数据是存放在主存(物理内存)当中的,由于CPU执行速度很快,而从内存读取数据和向内存写入数据的过程跟CPU执行指令的速度比起来要慢的多,因此...

2018-04-13 21:15:34

阅读数:70

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭