【大数据】大数据概论与Hadoop

纯干货！十分钟，快速聊明白大数据概论和Hadoop。

kafka2.x常用命令：创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费

kafka2.x常用创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费指令

【大数据】分布式文件系统HDFS

一文快速聊明白HDFS的核心概念

【postgresql 基础入门】聚合函数，通用型，统计分析型，多种多样的聚合函数满足数据的大数据的统计分析

在数据库管理系统中，SQL（结构化查询语言）的聚集函数扮演着至关重要的角色。它们能够对一组值执行计算，并返回单个值，为数据分析与决策提供了极大的便利。聚集函数不仅简化了复杂的数据处理任务，还使得数据的统计与汇总变得高效且准确。常见的SQL聚集函数包括求和（SUM）、平均值（AVG）、最大值（MAX）、最小值（MIN）以及计数（COUNT）等。这些函数能够快速地处理大量数据，提取出关键信息，帮助用户更好地了解数据的分布与特征。随着大数据时代的到来，数据的规模与复杂性不断增加，SQL聚集函数的重要性也日

Hive-Sql复杂面试题

3、rollup是卷起的意思，俗称层级聚合，相对于grouping sets能指定多少种聚合，而with rollup则表示从左 往右的逐级递减聚合，如:group by a,b,c with rollup 等价于 group by a, b, c grouping sets( (a, b, c), (a, b), (a), ( )).直到逐级递减为()为止,多适用于有级联关系的组合查询，如国家、省、市级联组合查 询。with cube 是group by后列的所有的维度的任意组合查询。

机器学习在安全领域的应用：从大数据中识别潜在安全威胁

当谈到机器学习在安全领域的应用时，不可否认其在提升安全保障能力方面的重要性。机器学习技术的迅猛发展和不断完善，为威胁检测、视频监控和自然语言处理等安全领域带来了前所未有的机遇和挑战。本博客将深入探讨机器学习在安全领域的广泛应用，以及其对安全保障能力的提升。在过去的几年中，安全风险与威胁不断增加，传统的安全技术已经不能满足当今快速发展的威胁。因此，人们开始将机器学习技术引入安全领域，以帮助分析、监控和预防安全威胁。

Kafka如何保证消息的消费顺序【全局有序、局部有序】、Kafka如何保证消息不被重复消费、Kafka为什么这么快？【重点】、Kafka常见问题汇总【史上最全】

Kafka如何保证消息的消费顺序【全局有序、局部有序】、Kafka如何保证消息不被重复消费、Kafka为什么这么快？【重点】这个时候重发的消息会被服务端拒掉从而避免消息重复。并且为了达到严格的顺序消费还需要。比如操作订单消息，可以把订单id作为key，在消费消息时，通过setnx命令设置一下，Kafka如何保证消息的消费顺序【全局有序、局部有序】、Kafka如何保证消息不被重复消费、Kafka为什么这么快？【重点】、Kafka常见问题汇总【史上最全】

基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录)

一路直通基于Windows系统的Hadoop伪分布模式部署,图图图图图图图图图图图图图,全是图

基于Spark+Springboot的电商用户行为分析系统设计和实现

随着互联网的发展，电商行业日益繁荣。为了更好地了解用户需求和提高用户体验，越来越多的电商平台开始采用大数据分析技术来分析用户行为。本文介绍了一种基于Spark的电商用户行为分析系统，该系统可以快速地处理海量数据，并能够从多个维度对用户行为进行分析和挖掘。通过该系统，电商平台可以更好地了解用户的购买偏好、浏览习惯等信息，从而为用户提供更加个性化的服务和推荐商品。还可以帮助电商平台发现潜在的商机和市场趋势，为企业决策提供有力的支持。

RabbitMQ之“延时队列”

延迟队列存储的对象是对应的延迟消息，所谓“延迟消息”是指当消息被发送以后，并不想让消费者立刻拿到消息，而是等待特定时间后，消费者才能拿到这个消息进行消费

【SpringCloud】探索Eureka注册中心

废话不多说，一文直接快速入门实用Eureka注册中心，讲述如何搭建EurekaServer，并注册服务，探索远程调用问题。总结一下搭建EureKa的步骤和服务注册的步骤，很简单：引入eureka-server依赖添加@EnableEurekaServer注解在application.yml中配置eureka地址引入eureka-client依赖在application.yml中配置eureka地址。

kafka map kafka可视化工具

kafka可视化工具。

【大数据】Flink SQL 语法篇（七）：Lookup Join、Array Expansion、Table Function

小伙伴萌会问，我们既然已经有了上面介绍的 Regular Join，Interval Join 等，为啥还需要一种 Lookup Join？因为上面说的这几种 Join 都是流与流之间的 Join，而 Lookup Join 是流与 Redis，MySQL，HBase 这种存储介质的 Join。Lookup 的意思就是实时查找，而实时的画像数据一般都是存储在 Redis，MySQL，HBase 中，这就是 Lookup Join 的由来。

【SpringCloud篇】Eureka服务的基本配置和操作

通过Eureka，服务提供者可以在其启动时向Eureka服务器注册自己的网络地址和元数据信息，而服务消费者则可以从Eureka服务器查询所需服务的实例列表，并基于负载均衡策略选择合适的服务实例进行调用。总的来说，Eureka作为服务治理框架，为微服务架构提供了一套完善的服务注册与发现机制，帮助各个服务实例之间能够自动地找到彼此，实现服务之间的通信与协作。总的来说，Eureka通过服务注册与发现的机制，帮助分布式系统中的各个服务实例能够自动地找到彼此，实现服务之间的通信与协作。

docker服务如何正确关停

说明：停止 docker 服务之前，先把所有的容器都停掉，如果没停掉，再重启 docker 服务之后，所有的容器就会成为 Exited 状态。

大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）

win环境下大数据Hadoop的部署hadoop+hive环境

-bash: hadoop: 未找到命令

-bash: hadoop: 未找到命令

Zookeeper学习一

建立连接有两种方式，一种是调用工厂对象的newClient（）方法，另一种就是调用工厂对象的builder()，通过的方法就连接信息传入工厂中。注意此方法需要加上@Before注解，表示其他测试方法执行前需要先执行加了的方法。因为每次进行crud操作时都需要与ZooKeeper Server建立连接。建立了连接，操作完毕后同时需要释放连接，在对应方法上面加一个，表示每次进行测试最后都要执行该方法。

Kafka-多线程消费及分区设置

设置kafka消费实例数量，实现多线程消费