自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 问答 (1)
  • 收藏
  • 关注

原创 Java——匿名函数

在Java中,匿名函数也称为Lambda表达式。它们是一种简洁的方式来表示可传递的代码块。Lambda表达式允许你直接将函数作为参数传递给方法或保存在变量中,而无需创建单独的类。其中,参数列表定义了传递给Lambda表达式的参数,箭头"->"用于分隔参数列表和Lambda表达式的主体,主体包含了Lambda表达式的功能。分别是Lambda表达式,用于筛选偶数和计算平方。例如,假设你有一个接口。就是一个Lambda表达式,它实现了。方法,并返回了两个参数的和。

2024-02-24 00:21:00 799 1

原创 Docker下的zookeeper集群

在之前的文章中,我们已经完成了zookeeper镜像的拉取,并且成功创建了单结点的zookeeper的kafka,storm集群,那么在本篇文章中我将介绍通过Docker搭建zookeeper集群,那么为什么使用zookeeper集群呢,我们之前用单结点来部署不是也能够成功吗?单节点的ZooKeeper是指只有一个ZooKeeper服务器在运行的情况。它的优点是部署简单,占用较少的资源。对于小规模应用或测试环境,单节点的ZooKeeper可以满足需求。然而,单节点的ZooKeeper也存在一些缺点。

2024-02-24 00:18:35 918

原创 Docker下的Flink

Flink中已经实现好了的数据源包括本地集合、文件、Kafka、Socket等。本地集合数据源适用于小规模数据集的测试和调试,可以直接将数据加载到内存中进行处理。文件数据源可以从本地文件系统或分布式文件系统(如HDFS)中读取数据,支持各种格式的文件,如文本文件、CSV文件等。Kafka数据源可以将数据从Kafka消息队列中读取,实现实时数据处理。Socket数据源可以从网络socket中读取数据,常用于接收实时数据流。此外,Flink还支持自定义数据源,开发者可以根据自己的需求实现自己的数据源逻辑。

2024-02-23 01:16:16 1053

原创 Java——匿名类

本文介绍了匿名类的创建以及使用

2024-02-23 01:15:18 365

原创 Docker下的Storm

在之前的文章中我们已经成功地拉取了3.5.9版本的官方镜像,下面将通过使用官方Storm镜像搭配使用官方zookeeper镜像来体验Storm的使用。Storm是一个分布式实时计算系统,它可以处理大量的实时数据流。Storm提供了高效的并发处理能力,可以在多台机器上并行执行任务,同时具备容错和恢复能力。通过Storm,用户可以实时处理和分析数据,进行复杂的计算和实时决策。Storm的设计思想是将数据分为流(stream)和批(batch)两种模式,流模式用于实时计算,批模式则用于历史数据分析。

2024-02-16 01:50:07 1061 2

原创 Docker下的大数据技术——目录

目录

2024-02-14 23:37:46 442 1

原创 Docker下的Kafka

在上一篇文章中我们已经成功地拉取了3.5.9版本的zookeeper官方镜像以及bitnami镜像,下面将通过使用bitnami的Kafka镜像搭配使用bitnami的zookeeper镜像来体验Kafka的使用。Kafka是一个分布式流处理平台和消息队列系统,旨在实现高吞吐量、持久性的日志型消息传输,并广泛应用于构建实时数据管道和大规模事件驱动型应用程序。

2024-02-14 23:30:39 2285 2

原创 Docker下拉取zookeeper镜像

Docker中的ZooKeeper是一个分布式协调服务,通过Docker容器一键部署和管理,实现了高可用性和故障转移,同时利用Docker的网络功能,方便地与其他容器连接,为分布式系统的构建提供了简单可靠的解决方案。在本专栏中我们将使用bitnami制作的zookeeper镜像和官方制作的zookeeper镜像。在专栏接下来的内容中kafka,flink将使用bitnami制作的zookeeper镜像,而storm使用官方制作的zookeeper镜像。

2024-02-12 14:58:43 773 1

原创 实时流计算问题汇总与解决方案

本次大作业的环境涉及到使用Docker搭建一个zookeeper+kafka+storm的集群环境并进行数字大屏可视化展示,在这个过程中不可避免会碰到许多难以预料的问题,下面我将针对在这一过程中遇到的问题进行总结归纳。

2023-12-15 15:23:51 837

原创 由于循环调用tensorflow.keras.predict导致的内存泄漏问题

由于循环调用tensorflow.keras.predict导致的内存泄漏问题

2023-03-01 18:45:00 891 2

原创 C语言--独立的大括号{}

在大括号{}的世界里,有一种不太经常被提起的用法,经常被我们所忽视,今天,我们就来讲讲被我们所忽视掉的大括号的用法。首先,我们来看一段代码:int main(){ int r; r=100; printf("%d\n",r); { int a=10; printf("%d\n",a); }; printf("%d\n",a); return 0;}当我们输入完这段代码之后,编译器界面标出如下的提示信息:嗯?未定义的标识符"a",这个时候,可能就要问了,我们明明

2021-11-16 21:04:05 4439 4

原创 无限malloc

今天看到一道题目,觉得非常有意思,题目如下:#include<stdlib.h>int main(){ char* p=NULL; while(1) { p=(char*)malloc(1); *p=0; } return 0;}我尝试将这段代码写到编译器中去尝试运行,结果如下:程序最终停止运行。而我们可以看到,这段代码中存在一个死循环,在正常的情况下这段代码将一直运行下去。为了深入探究其原因,我决定运行下面这段代码:#include&l...

2021-11-16 20:42:57 288 2

原创 神奇的return i++;

我们先来看下面的一段代码:int test(){ static int a=10; return a++;};int main(){ int a=test(); int b=test(); printf("a=%d b=%d\n",a,b); return 0;}在这样一段代码当中,test函数中的a变量在每次返回之后都执行了++的的操作,所以返回的结果如下:我们来对这段代码进行调试,看看到底发生了什么:当代码走到return的时候a的值还是10我们继续.

2021-11-09 16:55:10 750

原创 C语言中全局变量与局部变量的问题

在C语言当中,定义在函数之外的变量称为全局变量(包括main函数),而定义在函数内部的变量我们称之为局部变量,这里需要注意的是main函数内部的变量也是局部变量。 说到变量,我们就不能不说变量作用域,变量的生命周期,以及变量的存储空间的问题,那么我就针对以下这几个问题进行一一的介绍。 1.变量的作用域 那么什么是变量的作用域呢?变量的作用域一般是指一个变量在整个程序当中的有效作用范围。对于局部变量来说,他的作用域主要局限在定义他的函数内部,一旦程序的执行超出了函数的执行范围,那么这...

2021-11-09 16:24:52 2072

一个简单的kafka消费者

一个简单的kafka消费者

2024-02-15

简单的kafka生产者代码

简单的kafka生产者代码

2024-02-15

kafka项目的pom文件

kafka项目的pom文件

2024-02-15

bitnami版本的zookeeper和kafka的docker-compose配置

这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点的服务集群。通过指定镜像、端口映射、环境变量和依赖关系等配置,实现了Zookeeper和Kafka的快速部署和集成。同时,在定义了一个名为"mynetwork"的网络来连接这些服务,确保它们可以相互通信。整体而言,这个Docker Compose 文件提供了一个简单且可扩展的方式来搭建和管理Zookeeper和Kafka的集群环境。 对了,这个集群配置是支持外部访问的。

2024-02-15

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除