- 博客(16)
- 收藏
- 关注
RSS订阅原创 Flink中的Window Function(窗口函数)
1、背景在Flink中我们设置好window之后（如下），需要指定每个窗口的计算逻辑是什么。 val dataStream = text .map( data => { val arr = data.split(",") val sdf = new SimpleDateFormat("yyyy-MM-dd") val timestamp = sdf.parse(arr(2)).getTime() CashFlow(a
2021-07-08 13:58:55
814
原创 docker-compose安装elasticseach7.11.2
docker-compose安装elasticseach7.11.2前言一、环境准备工作二、启动集群三、配置文件前言因现在公司大数据场景的需要，为环境搭建了一套es测试集群。之前虽然在上一家公司搭建过集群，可那时还是用的es5。而且是通过tar包进行搭建的。为了提高环境的搭建速度，正好有在使用docker，而且es的docker镜像官方也提供了，遂决定使用docker-compose安装es cluster环境。参考官网：https://www.elastic.co/guide/en/elastics
2021-03-16 19:34:02
463
原创 spark源码编译
1、前沿学习spark这一计算框架，有非常多的地方值得大家深入的地方。看别人写的blog是一种方式，听各位大神的讲解是一种方式，但这都不如自己将它的源码过一遍来的痛快。现在我将向大家介绍一下如何调试跟踪源码！2、环境win10、idea、maven3.5.0、jdk1.8、git、scala2.113、下载源码目前spark源码在github有维护，我这里下载的是spark2.3.0版本。4、编译源码跟其他maven项目一样，用idea导入。可能会有导入失败的情况，这个时候大多是因为maven
2021-02-28 10:25:22
926
原创 Centos7环境下安装npm
一、环境准备yum install gcc gcc- c++二、下载安装包wget https://cdn.npm.taobao.org/dist/node/v8.12.0/node-v8.12.0-linux-x64.tar.xz三、解压xz -d ode-v8.12.0-linux-x64.tar.xztar -xvf ode-v8.12.0-linux-x64.tar或者tar xvJf node-v8.12.0-linux-x64.tar.xz四、添加环境变量v
2020-11-06 16:57:36
3620
原创 kafka中的选举和数据冗余备份机制
前言在分布式系统中，通常会出现两个角色，master 和 slaver。master通常用于管理集群调度资源。而slaver通负责于数据的存储和传输工作。从而平衡集群负载，提高集群整体的稳定性。kafka的集群管理–controller选举kafka集群中有多个broker，在集群启动时，各个broker会去zookeeper集群中，注册成controller。这个机制跟hadoop-ha类...
2020-04-19 11:31:17
711
原创 Kafka控制台常用命令及工作流程简单介绍
前言在使用kafak之前，先启动每个node 的zookeeper服务：zkServer.sh start一、kafka常用命令1、启动服务kafka-server-start.sh -daemon /soft/kafka/config/server.properties2、查看主题kafka-topics.sh --list --zookeeper s102:21813、查看某...
2020-04-18 18:58:03
1520
1
原创 初识kafka——安装
前言在分布式系统中，我们广泛运用消息中间件进行系统间的数据异步调用,便于异步解耦和流量削峰。常见的三类消息产品有Kafka、RabbitMQ、RocketMQ。三者中kafka整体性能要更加强劲一些。消息系统通常有p2p和ps两种工作方式。而kafka整合这两个特点，既可以实现p2p又可以实现ps方式。kafak依赖zookeeper去维护自己broker、follower、consumer等信...
2020-04-12 21:37:24
124
原创 zookeeper应用及相关原理
一、工作原理zookeeper的工作无非读和写。当client发起读请求的时候，每个工作node都可以响应。在写的时候，client端发起请求，当server或者Observer（不属于集群，选举leader时没有投票权，其他功能同follow）收到请求后发起写请求并转发给leader node，leader接收到后将写请求转发给其他follower，其他follower接收到后完成数据写入，然...
2020-04-12 09:01:57
84
原创 zookeeper安装
zookeeper安装及使用前言对于大数据开发者来说，zookeeper肯定不陌生。尤其使用过Apache相关大数据组件的同僚而言，在熟悉不过。zookeeper是Apache Hadoop 的一个子项目，是一个分布式服务框架，官网介绍说：它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。它可以协调主节点和备份节点，解决...
2020-04-11 23:42:12
143
原创 docker-compose使用
docker-compose是一个用于操作docker化服务的工具，使用起来很是便利。1、首先环境中已经安装过docker。2、下载二进制文件curl -L “https://github.com/docker/compose/releases/download/1.26.0-rc3/docker-compose-(uname−s)−(uname -s)-(uname−s)−(uname -...
2020-03-28 18:15:43
139
原创 创建docker私有库
我们除了可以使用dockerhub管理我们的镜像外，还可以矿建我们自己的库。1、拉取registry imagedocker pull registry2、创建registry containerdocker run -d -v /registry:/var/lib/registry -p 15000:5000 --restart=always --privileged=true --na...
2020-03-28 17:36:21
67
原创 Docker-创建镜像
前言docker有两项内容很重要：1、docker镜像；2、docker容器。docker环境搭建好后，就可以开启docker服务。那么就需要docker镜像生成docker容器，我们可以把docker镜像比喻成药方，而容器就是熬出的药，虽然不大贴切，但这就是他们的关系。你也可以理解成面向对象中类和实例化对象的关系。1、镜像的来源多种多样，分别介绍以下几种。1). 通过pull命令从官网拉取...
2020-03-22 18:09:31
112
原创 Docker-ce离线安装
前言很多时候，我们的工作环境是一个局域网，没有外网，显然此时要从外网通过yum安装docker-ce，变的不可行。难道这就不可行了吗？当然可行！下面就介绍一下离线安装docker-ce的过程。1、首先准备好环境，就是你服务器的环境，我用的是centos7。其次找一台可以连接外网的服务器，环境尽量和工作环境保持一致（不一致会有很多坑要踩！）。2、在可连接外网环境的服务器上（也可以是自己的本子...
2020-03-21 23:00:25
1459
1
原创 Docker-ce在线安装
docker-ce 在线安装1、docker-ce是社区版本，免费使用；docker-ee是企业级版本需要付费使用。2、centos用户需要7版本以上，对内核版本有要求。3、如果之前安装过docker，需要进行卸载sudo yum remove docker docker-common docker-selinux docker-engine4、安装所需组件sudo yum insta...
2020-03-20 11:42:28
265
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人