自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(101)
  • 资源 (1)
  • 收藏
  • 关注

原创 【Flink实战】新老用户方案优化使用状态与布隆过滤器的方式

布隆过滤器(Bloom Filter)是一种经过哈希函数处理的数据结构,用于快速判断一个元素是否可能存在于一个集合中。它可以用来检索大规模数据集中的元素,过滤掉不存在的元素,从而减少昂贵的磁盘或网络访问操作。布隆过滤器的核心思想是使用一个位数组(通常由二进制位组成)和多个哈希函数。当将元素添加到布隆过滤器时,通过哈希函数将元素映射到位数组的多个位置,并将这些位置的二进制位设置为1。

2023-09-13 18:03:39 1609 3

原创 【Flink实战】用户统计:按照省份维度统计新老用户

【Flink实战】用户统计:按照省份维度统计新老用户🚀 欢迎小伙伴们。

2023-09-13 17:50:58 1468 5

原创 【Flink实战】新老用户分析:按照操作系统维度进行新老用户的分析

新老用户分析:按照操作系统维度进行新老用户的分析🚀 欢迎小伙伴们。

2023-09-13 17:09:42 1369

原创 【Flink实战】Flink对接Kafka Connetor使用docker部署kafka

Docker 是一个开源的容器化平台,用于将应用程序和其依赖的环境打包成一个独立的容器,以实现应用程序的快速部署、可移植性和可伸缩性。0 传统的应用部署方式通常需要在目标环境中手动设置各种依赖项和配置,可能面临不同操作系统或软件版本之间的兼容性问题。而 Docker 可以通过容器的方式隔离应用程序和其依赖的环境,使得应用程序能够在任意系统上以相同的方式运行,并且不受目标环境的影响。

2023-09-13 16:40:22 1819

原创 【Flink实战】Flink 商品销量统计-实战Bahir Connetor实战存储 数据到Redis6.X

Redis环境说明 redis6使用docker部署redis6.x 看个人主页docker相关文章编码实战数据源static {list.add("spring boot2.x课程");list.add("微服务SpringCloud课程");list.add("RabbitMQ消息队列");list.add("Kafka课程");list.add("小滴课堂面试专题第一季");list.add("Flink流式技术课程");list.add("工业级微服务项目大课训练营");

2023-09-13 16:29:10 1811 3

原创 【Flink实战】玩转Flink里面核心的Sink Operator实战

在Flink中,Sink Operator(也称为Sink Function或Sink)是指负责将DataStream或DataSet的数据发送到外部存储或外部系统的操作符。Sink Operator是Flink的数据输出端,它的作用是将处理过的数据写入目标位置,如数据库、文件系统、消息队列等。Sink Operator通过将数据传输到外部系统来完成最终的数据存储、展示或其他类型的处理。它可以将数据单个地或批量地发送到目标系统,具体取决于Sink操作符的实现。

2023-09-13 16:24:01 1632 1

原创 【Flink实战】Flink自定义的Source 数据源案例-并行度调整结合WebUI

Flink的并行度是指在Flink应用程序中并行执行任务的级别或程度。它决定了任务在Flink集群中的并发执行程度,即任务被划分成多少个并行的子任务。在Flink中,可以通过设置并行度来控制任务的并行执行。并行度是根据数据或计算的特性来确定的,可以根据任务的特点和所需的处理能力进行调优。将一个任务的并行度设置为N意味着将该任务分成N个并行的子任务,这些子任务可以在Flink集群的不同节点上同时执行。Flink会根据配置的并行度自动对任务进行数据切分和任务调度,以实现高效的并行处理。

2023-09-13 16:16:26 1540

原创 【Flink实战】玩转Flink里面核心的Source Operator实战

Flink的API层级 为流式/批式处理应用程序的开发提供了不同级别的抽象第一层是最底层的抽象为有状态实时流处理,抽象实现是 Process Function,用于底层处理第二层抽象是 Core APIs,许多应用程序不需要使用到上述最底层抽象的 API,而是使用 Core APIs 进行开发。

2023-09-13 15:08:59 1654

原创 【Hadoop综合实践】手机卖场大数据综合项目分析

🚀 本文章实现了基于MapReduce的手机浏览日志分析🚀 文章简介:主要包含了数据生成部分,数据处理部分,数据存储部分与数据可视化部分🚀 【本文仅供参考】其中需求实现的方式有多种,提供的代码并非唯一写法,选择适合的方式即可。

2023-06-07 17:31:32 5366 28

原创 【SpringBoot教程】SpringBoot+MybatisPlus数据库连接测试 用户收货信息接口开发

SpringBoot+MybatisPlus组合可以大大加快开发效率,紧接上一篇文章的内容,这篇文章进行数据库的连接与查询测试,并配置日志输出调试🚀。

2023-05-28 11:16:10 3170 20

原创 【SpringBoot教程】开发提效工具Lombok引入 Mybatis-plus-generator代码自动生成工具

一个优秀的Java代码库,简化了Java的编码,为Java代码的精简提供了一种方式你是否发现每个JavaBean都会写getter,setter,equals,hashCode和toString的模板代码,特别的多于没技术lombok消除Java的冗长代码,尤其是对于简单的Java对象,只要加上注解就行。

2023-05-26 14:57:29 3936 14

原创 【SpringBoot教程】 最佳实践之SpringBoot.2.X核心配置文件详解

SpringBoot最佳实践之核心配置文件详解实战

2023-04-02 15:07:56 1199 14

原创 【SpringBoot教程】RequestBody对象数组提交接口开发实战

SpringBoot提交对象数组实战

2023-03-28 23:27:32 2658 5

原创 【Spark手机流量日志处理】使用SparkSQL按月统计流量使用量最多的用户

Spark SQL是Apache Spark的一个模块,提供了一种基于结构化数据的编程接口。它允许用户使用SQL语句或DataFrame API来查询和操作数据,同时还支持使用Spark的分布式计算引擎进行高效的并行计算。Spark SQL支持多种数据源,包括Hive、JSON、Parquet、Avro、ORC等,这些数据源可以通过DataFrame API或SQL语句进行查询和操作。同时,Spark SQL还提供了一些高级功能,如窗口函数、聚合函数、UDF等,以满足更复杂的数据分析需求。

2023-03-27 12:51:36 4039 4

原创 【SpringBoot教程】SpringBoot开发POST请求接口用户登录token实战,多种入参方式介绍

SpringBoot从入门到精通系列教程,实现用户登录接口,Post请求实战,token实战

2023-03-26 23:22:57 4288 5

原创 【SpringBoot教程】SpringBoot开发HTTP接口GET请求实战

本专栏为SpringBoot+Spring+Mybatis的系列零基础教程,从框架的基础知识讲起,从0开始实现一个在线教育实战项目🚀。

2023-03-25 17:38:31 6008 24

原创 【Linux内网穿透】使用SFTP工具快速实现内网穿透

Linux实现内网穿透

2023-03-22 18:26:40 4295 18

原创 【大厂算法系列】链表实战篇,基于链表编码实现课程信息管理系统

链表实战篇,一篇文章搞定链表相关问题,搞懂链表底层实现

2023-03-21 00:29:39 2367 15

原创 【大厂算法系列】编码手写顺序表相关功能,线性结构核心知识点详细剖析

在第二章里我们说到的两个元素有**“一对一”** 逻辑关系的数据,其储存方式就是线性表线性表也叫线性储存结构,是基本最常用的一种数据结构。由n个具有相同特性的数据元素组成的序列这样理解成 线性表储存数据就是把所有的数据用一根线穿起来,放到物理空间中。如下,这种几种存放的结构,数据依次储存到物理空间, 就称为顺序表,数据分散存放的结构也称为链表线性表相关术语线性表中的每个个体被称为数据元素 图中1,2,3都是一个元素具有一对一逻辑关系的数据。

2023-02-26 21:53:40 2443 17

原创 【大厂算法系列】学数据结构与算法有用吗?时间与空间复杂度的定义与计算

数据结构指的是相互之间有一种或者是多种特定的关系数据元素集合。用大白话来说就是:计算机在对数据进行存储时候并不是杂乱没有顺序的,而是具有一定的规则。数据结构可以分成逻辑结构跟物理结构逻辑结构:抽象意义上的结构,按照对象中元素的关系分类物理结构:又叫存储结构,主要有顺序存储跟链式存储算法是被计算机使用来解决问题的方法,就对于程序而言,算法就是程序的灵魂,优秀的程序可以在面对大量数据计算时,依旧能够保持高速的计算。对于小型的程序来说,就算这个算法差劲,解决的问题步骤比较繁琐,这样不会有很大的关系。

2023-02-15 11:59:46 2918 8

原创 【精通Spark系列】Spark算子大合集,一文掌握spark中的常用转换与行动算子

RDD 中的算子从功能上分为两大类1.Transformation(转换算子) 它会在一个已经存在的 RDD 上创建一个新的 RDD,这也使得RDD之间存在了血缘关系与联系2.Action(动作算子) 执行各个分区的计算任务, 结果返回到 Driver 中特点1.Spark 中所有的 Transformations 是 惰性 的, 不会立即执行获得结果. 只会记录在数据集上要应用的操作.当需要返回结果给 Driver 时, 才会执行这些操作, 这个特性叫做 惰性求值。

2023-01-09 23:39:24 1904 10

原创 【基于ChatGPT+SpringBoot】打造智能聊天AI机器人接口并上线至服务器

ChatGPT是一款基于自然语言处理技术的聊天机器人。它使用受控语料库,并使用最先进的深度学习技术来学习用户的输入,以便以最相似的方式回应。ChatGPT可以模拟真实的人类对话,并能够更贴近用户的需求,提供更有价值的服务。Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。

2023-01-02 18:01:55 8985 28

原创 【基于ChatGPT的API】实现一个响应速度比官方更快的在线问答网站并通过宝塔上线全网可访问

你好!我是ChatGPT,是一种基于自然语言处理和深度学习技术的机器人,可以帮助你完成聊天,问答和写作任务。我可以自动生成文本,并且可以根据您的输入自动调整文本内容。我可以使用深度学习技术来分析文本,并生成可读的文本。我还可以帮助您解决文本理解问题,并生成更深入的文本分析。我可以帮助您完成各种任务,包括文本生成,文本分析,文本理解,文本摘要,问答系统,聊天机器人等等。

2022-12-26 12:16:40 14736 30

原创 让最近爆火的ChatGPT来谈谈,作为一个技术人该如何写好一篇技术博文

ChatGPT 是由 OpenAI 训练的一个大型语言模型。专门设计用于回答用户提出的问题,我可以提供有价值的信息,并帮助用户解决问题下面的回答均来自ChatGPT。

2022-12-14 15:43:09 3882 6

原创 【数据结构与算法】递归全流程详细剖析 | 详解图的深度优先遍历

本篇文章属于数据结构与算法系列文章,这篇文章会对算法中的递归进行一个详细的介绍,不仅是概念,而是从运行过程中的每一步进行详细分析。并使用递归的方式来完成数据结构图的深度优先遍历🚀。

2022-11-19 10:21:54 3042 31

原创 【数据结构与算法】图的基本结构介绍 | 邻接表与邻接矩阵编码实战

图的基本概念与应用介绍,使用邻接表与邻接矩阵完成编码实战

2022-11-17 18:15:28 1780 32

原创 【数据结构与算法】选择排序的实现

选择式排序也内部排序法,是从想要进行排序的数据中,按指定的规则选出某一元素,再依规定交换位置后达到 排序的目的。

2022-10-05 18:05:15 1744 13

原创 【IDEA主题极致优化】全面优提升你的编码体验

Material Theme UI是一款主题插件,具有强大的主题更换功能,同时也拥有多方面的主题选择。工欲善其事必先利其器,今天就来介绍下如何使用这款软件进行主题更换。这款插件可以直接在IDEA里面的插件下载中心进行下载。setting->Plugins->Material Theme UI在IDEA进行设置路径如下File > Settings > Appearance & Behavior > Material Theme其中 这里有多种主题可以根据个人的喜好自己选择在选择主题的下面可以

2022-10-04 22:20:40 5521 42

原创 【精通Spark系列】弹性分布式数据集RDD快速入门篇

本篇文章属于Spark系列文章,专栏将会记录从spark基础到进阶的内容,,内容涉及到Spark的入门集群搭建,核心组件,RDD,算子的使用,底层原理,SparkCore,SparkSQL,SparkStreaming等,

2022-10-03 23:05:46 2039 4

原创 【数仓环境搭建】超详细大数据常用框架集群搭建合集 | 附带详细安装过程

很多小伙伴在学习大数据的时候应该都遇到过集群环境搭建的问题,需要考虑到各个框架之间的兼容性,搭建起来也比较麻烦。本篇文章汇总了大数据开发中的常用组件集群搭建过程,附带了详细的搭建过程截图,提供了对应版本的安装包确保环境兼容。主要包括Hadoop,HDFS,YARN,Spark,Hive,MySQL,HBase.

2022-05-30 14:32:02 2715 34

原创 Hive环境搭建 | 数据仓库工具搭建详细过程

🚀 作者 :“大数据小禅”🚀 简介:详解数据仓库工具Hive的搭建过程🚀 安装包|文档获取:获取对应的安装包可以通过最下方公众号联系我备注获取。1.Hive简介hive是基于Hadoop的一个数据仓库的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门MapReduce应用程序。.

2022-05-30 14:09:57 1582

原创 Zookeeper集群搭建详细过程 | 附带详细过程截图

🚀 作者 :“大数据小禅”🚀 简介:详细讲解Zookeeper的环境搭建,附带过程截图。🚀 安装包获取:获取对应的安装包可以通过最下方公众号联系我备注获取。1.Zookeeper简介ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive)等等一些大数据组件。ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功.

2022-05-30 13:53:05 965

原创 Sqoop集群环境搭建 | MySQL数据导出HDFS测试

🚀 作者 :“大数据小禅”🚀 简介:详细讲解Sqoop的环境搭建,通过Sqoop将mysql导出到HDFS,附带过程截图。🚀 安装包获取:获取对应的安装包可以通过最下方公众号联系我备注获取。1.Sqoop简介Apache Sqoop是在Hadoop生态体系和*RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。,主要用于在Hadoop(Hive)与传统的数据库间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据.

2022-05-30 12:03:40 860

原创 Kafka集群搭建与测试详细教程 | 附带详详细截图

详细讲解Kafka的集群搭建过程

2022-05-30 10:19:30 1810 2

原创 HBase完全分布式搭建 | 集群建表测试

🚀 作者 :“大数据小禅”🚀 简介:详细讲解HBase的集群分布式搭建,附带过程截图。🚀 安装包获取:获取对应的安装包可以通过最下方公众号联系我备注获取。1.HBase简介HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。它介于n.

2022-05-26 10:00:44 1036 3

原创 MySQL5.7快速搭建不踩坑 | 配置远程访问

🚀 作者 :“大数据小禅”🚀 简介: MySQL5.7数据库快速安装 | 不踩坑🚀 简介:对应的依赖包可以通过最下方公众号私信我获取~1.MySQL简介MySQL 是一款安全、跨平台、高效的,并与 PHP、Java 等主流编程语言紧密结合的数据库系统。目前 MySQL 被广泛地应用在 Internet 上的中小型网站中。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,使得很多公司都采用 MySQL 数据库以降低成本。MySQL 数据库可以称得上是目前运行速度最快的 SQL 语言数.

2022-05-24 10:08:22 784 3

原创 Hadoop3.x搭建详细教程 | 历史服务器的配置与日志聚合

🚀 作者 :“大数据小禅”🚀 简介:随着版本的迭代,Hadoop也在不断的进行更新与增加新特性,根据生产与业务的需求,掌握最基础的环境搭建是比较重要的,之前的文章已经进行了Hadoop2的安装,Hadoop3的安装也是基于2的前置环境之上,免密与集群前置准备小伙本们可以看一下之前的文章。🚀 Hadoop2详细搭建教程: Hadoop2安装教程对应的安装包可以通过最下方公众号联系我分享。1.Hadoop3.1.x版本集群规划Hadoop由Apache基金会开源,是一个分布式的储存与计算平台。目前H.

2022-05-18 13:56:38 939

原创 基于Python的这个库,我实现了“隔空操物“

???? 作者 :“大数据小禅” 大数据领域作者,华为认证云享专家,阿里云专家博主???? 文章简介 :本篇文章的实战部分中主要使用到了 MediaPipe 与 OpenCv 两个库,实现了隔空操作的效果,主要有**隔空操作鼠标,隔空绘画,隔空控制音量与隔空手势识别 **???????? 文章源码获取 :本文的源码,大数据交流群,小伙伴们可以关注文章底部的公众号,点击“联系我”添加vx备注源码获取。???? 欢迎小伙伴们 点赞????、收藏⭐、留言????

2022-01-15 08:50:50 21433 97

原创 【精通Spark系列】一文搞懂Spark的运行架构,文末附带大数据Spark的学习路线

???? 作者 :“大数据小禅”???? **文章简介 **:本篇文章属于Spark系列文章,专栏将会记录从spark基础到进阶的内容,,内容涉及到Spark的入门集群搭建,核心组件,RDD,算子的使用,底层原理,SparkCore,SparkSQL,SparkStreaming等,Spark专栏地址.欢迎小伙伴们订阅???????? **文章源码获取 **:与本文相关的安装包,大数据交流群,小伙伴们可以关注文章底部的公众号,点击“联系我”备注对应内容获取。???? 欢迎小伙伴们 点赞????、收藏⭐

2022-01-01 15:38:10 4241 35

原创 圣诞节到了,送给大家一颗由代码实现的圣诞树,让忙碌的生活也不缺乏仪式感

圣诞快乐~

2021-12-24 11:13:23 9550 44

C语言学生管理系统【可增删改查】

C语言学生管理系统 1.应用了链表的数据结构,实现系统操作 2.是C语言基础的综合应用,包括了指针的使用与C语言基础知识的综合应用 3.功能包括了对学生的添加,可添加名字,学号,年龄等相关信息,之后由链表储存,可对已经添加的学生进行删除操作,根据学号定位学生,再移除链表的节点,可修改学生的基本详细,可查看已经添加后的全部学生。

2020-06-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除