- 博客(14)
- 收藏
- 关注
RSS订阅原创 Flink的window
概念一般真实的流都是无界的，处理无界的数据，可以把无限的数据流进行切分，得到有限的数据集进行处理-也就是得到有界流窗口（window）就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析类型时间窗口（time window）1.滑动时间窗口（Sliding Windows）滑动窗口是滚动窗口的一个更广义的形式，滑动窗口由窗口大小和滑动间隔组成特点：窗口长度固定，可以有重叠2.滚动时间窗口（Tumbing windows）依据固定
2020-12-02 21:35:28
937
原创 Flink流处理API之Sink
Flink流处理API代码主要分为四个模块：environment， source，transform，sinkSinkflink中对外的输出都要利用sink的完成Kafkaobject KafkaSinkTest { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1)
2020-11-25 21:37:29
392
原创 Flink流处理API之Transform
Flink流处理API代码主要分为四个模块：environment， source，transform，sinkTransform1.基本简单聚合算子map对每个元素做相应操作val dataStream2 = dataStream.filter(x => !x.isEmpty) .map(data => { val dataArray = data.split(",") SensorReading(dataArray(0).
2020-11-22 12:30:03
234
原创 Flink流处理API之environment And Source
Flink流处理APIflink API主要分为四个模块：environment， source，transform，sinkenvironmentgetExecutionEnvironment会根据执行的方式底层调用下面两种方式创建对应的环境：createLocalEnvironment和createRemoteEnvironment，分别为创建本地和远程的执行环境sourcesource分为四种：从集合读取数据，从文件读取数据，从kafka中消费数据，自定义source从
2020-11-22 12:18:47
242
原创 Flink运行时架构
flink运行时架构此文章主要描述flink的运行时架构，包括组件，提交，任务调度等flink环境安装https://www.cnblogs.com/linjiqin/p/12425584.htmlflink运行时的组件作业管理器（jobmanager），任务管理器（taskmanager）， 资源管理器（Resource），分发器（Dispacher）jobmanager控制一个应用程序执行的主进程，应用程序包括：作业图，逻辑数据流图，和打包了所有类，库和其他资源的jar包
2020-11-19 21:30:01
167
1
原创 java实现位图（bitmap）
//位图下标从0开始public class BitMap { //默认256的大小 private int size = 256; private byte[] bits; public BitMap(int size) { this.size = size; this.bits = new byte[getindex(size) + 1]; } public BitMap() { this.b.
2020-06-12 23:35:01
693
原创 采用位图存储40亿条qq号,用来记录登录状态
假设有需要你在一个8G内存的容器里面做个服务，用来根据用户输入的qq号，判断此qq号是否登录过。qq总数有40亿，每天的登录记录了有1000亿条，每个qq号存储占4byte，设计下用哪种数据结构？1.采用类似于B+树的结构，可以实现但不是最优解2.最优解是使用位图（bitmap）来存储，qq号作为下标，用1bit来存储0和1表示是否登录过。这样需要花费的内存约为500M，足够使用。在此基础上又来了新的需求，需要统计每个用户每天登录的次数，需要怎么实现？在位图的基础上使用8bit来存储登录的次
2020-06-12 22:35:41
1743
原创 centos7上mysql数据库定时备份
编写备份脚本文件vim backupdb.sh#!/bin/bashdb_user="root" #数据库名db_passwd="123456" #数据库密码db_name="test" #要备份的库名name="$(date +%Y%m%d%H%M%S)" #文件名，以时间path="/home/project/" #备份的sql文件所要存...
2019-11-14 13:54:53
254
原创 域名申请以及申请安全证书
域名申请1.查询域名是否已经被注册http://www.cnnic.net.cn/寻找未注册的域名，国内域名可使用.cn后缀确定好域名之后，选择注册服务机构。若已有云服务器，则最好选择和云服务器一个厂家，若没有可以选择阿里云等。以阿里云做为实例：若没有若没有服务器，先购买阿里云服务器申请域名：https://wanwang.aliyun.com/domain/searchresul...
2019-11-14 10:01:59
1827
原创 阿里人脸检测实践以及阿里云OSS数据库图片上传
阿里人脸检测实践java实现调用阿里人脸识别服务实现人脸检测。在springboot项目中应用，根据前端传回的经过Base64编码的图片，直接调用阿里人脸检测服务实现检测，并将检测成功的图片存入阿里云OSS数据库 ，并存储返回的图片url。依赖<!--阿里云OSS依赖--> <dependency> <groupId>...
2019-11-13 23:34:35
790
原创 springboot配置https
springboot配置https1. spingboot配置支持https和http（服务器为tomcat）spingboot实现支持https和http需要进行以下配置： 首先需要去生成https的证书文件：证书分为两种：自签名和受信任的证书机构的签名 自签名证书支持https但是在公网访问时是不安全的，因...
2019-11-13 23:27:52
817
原创 解决Linux下安装新版本Python后与自带的python版本冲突问题
此处以CentOS6.5上安装python3.6.6为例：1.python3.6.6安装：1.1安装python依赖包：进入root用户：执行命令：# yum install zlib-devel sqlite-devel zlib-devel安装成功运行期间碰到Is this ok [y/N]: ，输入y再回车即可。执行命令：# yum install rea...
2018-07-27 17:51:30
9265
3
原创 CentOS6.5上安装Ray环境，包括gcc，git，pip，python3.6.6，ray，webUI安装
1.安装gcc使用命令gcc –version查看gcc是否安装，若已安装则进入第二步，否则安装gcc：执行命令：yum install gcc默认会安装gcc-4.4.7版本，装好即可。2.安装git-2.10.02.1 下载git安装包用此链接下载git安装包：https://mirrors.edge.kernel.org/pub/software/scm/git/...
2018-07-27 17:20:10
1813
2
原创 linux下安装opencv-3.2及opencv-contrib 3.2步骤
1.安装关联组件：sudo apt-get install build-essentialsudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-devsudo apt-get install python-dev python-numpy libtb
2017-08-18 14:09:11
6642
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人