Felix_阳的博客

让学习变成一种习惯

flink KeyedStream的reduce操作

序 本文主要研究一下flink KeyedStream的reduce操作 实例 @Test public void testWordCount() throws Exception { // Checking input parameters // ...

2019-05-21 10:43:51

阅读数 26

评论数 0

基于flink的流数据统计

一、统计流程 image.png 所有流计算统计的流程都是: 1、接入数据源 2、进行多次数据转换操作(过滤、拆分、聚合计算等) 3、计算结果的存储 其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据 Flink程序构建的基本单元是stream和...

2019-05-20 18:17:43

阅读数 26

评论数 0

Flink Table API 使用详解

Table API是流处理和批处理通用的关系型API,Table API可以基于流输入或者批输入来运行而不需要进行任何修改。Table API是SQL语言的超集并专门为Apache Flink设计的,Table API是Scala 和Java语言集成式的API。与常规SQL语言中将查询指定为字符串...

2019-05-17 18:10:33

阅读数 8

评论数 0

Hadoop cdh版本搭建

1概述 本文是针对LinuxCentos7服务器与CDH5.11的安装手册。 1.2 关于CDH和ClouderaManager CDH(Cloudera's Distribution, includingApache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,...

2019-05-13 12:07:58

阅读数 70

评论数 0

MySQL5.7创建用户并授权,设置允许远程连接

一. 创建用户 命令: CREATEUSER'username'@'host'IDENTIFIEDBY'password'; 说明: username:你将创建的用户名 host:指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost,如果想让该用户可以从任意...

2019-05-11 10:20:21

阅读数 19

评论数 0

flink入门原理简介

Apache Flink(以下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统开发者也能有所裨益。本文假设读者已对MapR...

2019-05-10 11:36:51

阅读数 29

评论数 0

Java8新特性-Stream操作

一. 基本概念 二. 串行流和并行流 三. 中间操作 和 最终操作 一. 基本概念 1.1 为什么加入 集合的流式操作 JDK8 的Stream 是一个受到 函数式编程 和 多核时代影响而产生的东西。很多时候我们需要到底层返回数据,上层再对数据进行遍历,进行一些数据统计,但是...

2019-05-09 18:23:25

阅读数 24

评论数 0

Java 字符串拼接 五种方法的性能比较分析

> 字符串拼接一般使用“+”,但是“+”不能满足大批量数据的处理,Java中有以下五种方法处理字符串拼接,各有优缺点,程序开发应选择合适的方法实现。 1. 加号 “+” 2. String contact() 方法 3. StringUtils.join() 方法 4. St...

2019-05-08 19:32:55

阅读数 32

评论数 0

Java 8 Stream Tutorial

本文采用实例驱动的方式,对JAVA8的stream API进行一个深入的介绍。虽然JAVA8中的stream API与JAVA I/O中的InputStream和OutputStream在名字上比较类似,但是其实是另外一个东西,Stream API是JAVA函数式编程中的一个重要组成部分。 本文...

2019-05-06 14:23:34

阅读数 25

评论数 0

Redis使用FastJson序列化/FastJson2JsonRedisSerializer

背景 最近在用SpringBoot+Redis+SpringCache做个缓存。但是发现网上很多默认都是用的jackson序列化,那是多么古老,fastjson才是王道,所以这才有了这个FastJson2JsonRedisSerializer。 FastJson2JsonRedisSeriali...

2019-05-04 12:27:21

阅读数 39

评论数 0

springboot整合最新版dubbo以及dubbo-admin的安装

一、安装前准备   由于dubbo被阿里捐献给了apache,这次安装admin时,参考网上的资料,地址还是停留在之前的链接,踩了不少坑,这里记录下。   dubbo-admin下载地址:   地址一:https://github.com/apache/incubator-dubbo/rel...

2019-04-30 19:58:26

阅读数 40

评论数 0

Kafka消费异常处理

异常 org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the parti...

2019-04-25 20:27:45

阅读数 47

评论数 0

经典SQL语句大全(绝对的经典)

一、基础 1、说明:创建数据库CREATE DATABASE database-name2、说明:删除数据库 drop database dbname3、说明:备份sql server ---创建 备份数据的device USE master EXEC sp_addumpdevice 'disk...

2019-04-21 20:12:43

阅读数 167

评论数 0

OpenTSDB写数据

写入的一些配置和设计会对OpenTSDB数据库性能产生影响,所以这不单单是简单的数据输入,第一部分主要是对数据的写入规范。 原地址http://opentsdb.net/docs/build/html/user_guide/writing/index.html 写数据(Writing Data...

2019-04-17 12:56:04

阅读数 56

评论数 0

HBase常用命令

HBase常用命令 进入shell [hadoop@indb-3-136-hzifc bin]$ echo $HBASE_HOME /data/program/hbase [hadoop@indb-3-136-hzifc bin]$ /data/program/hbase/bin/hbase ...

2019-04-15 11:33:03

阅读数 31

评论数 0

java Hbase异步批量写入

import org.apache.commons.lang.StringUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.h...

2019-04-12 11:15:56

阅读数 43

评论数 0

Hbase集群安装部署

HBase 的安装有两种方式:单机安装和分布式安装。HBase的单机安装了解即可,大家重点掌握HBase 分布式集群的安装。下面我们分别进行介绍。 HBase 单机安装 HBase 需要运行在 Hadoop 基础之上,因此安装HBase 的前提是必须安装 Hadoop 环境。Hadoop 环境...

2019-04-10 10:02:59

阅读数 58

评论数 0

Hbase命令使用详解

./hbase shell help help “get” #查看单独的某个命令的帮助 1. 一般命令 status 查看状态 version 查看版本 2.DDL(数据定义语言Data Definition Language)命令 1. 创建表 create ‘表名称’,’列名称...

2019-04-04 17:10:37

阅读数 52

评论数 0

Zookeeper集群搭建

由于公司缓存方案改进,准备采用codis集群作为主要的缓存解决方案(codis:国内豌豆荚开发的redis集群解决方案,已开源,github地址:https://github.com/CodisLabs/codis),codis集群依赖于zookeeper集群,本文介绍zookeeper集群的实现...

2019-03-29 11:20:20

阅读数 73

评论数 0

Hadoop集群搭建

本文搭建了一个由三节点(master、slave1、slave2)构成的Hadoop完全分布式集群(区别单节点伪分布式集群),并通过Hadoop分布式计算的一个示例测试集群的正确性。 本文集群三个节点基于三台虚拟机进行搭建,节点安装的操作系统为Centos7(yum源),Hadoop版本选取为2...

2019-03-28 15:42:17

阅读数 55

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭