Hive和MySQL的部署、配置Hive元数据存储到MySQL、Hive服务的部署

Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务来执行。Hive 定义了一种简单的类 SQL 查询语言，称为 HQL（Hive Query Language），它允许熟悉 SQL 的用户查询数据。

实战大数据：分布式大数据分析处理系统的开发与应用

大数据和分布式系统的发展为数据驱动的决策和创新提供了强大的工具。未来，随着技术的不断进步，大数据技术将会在更多领域发挥重要作用，推动社会的进步和发展。这篇文章提供了一个全面的框架和具体的实现示例，涵盖了大数据处理的各个方面。如果有任何特定的需求或细节需要补充，请随时告知。

基于SpringBoot+大数据+爬虫+数据可视化的的媒体社交与可视化平台设计和实现(源码+LW+部署讲解)设计和实现(源码+LW+部署讲解)

媒体社交与可视化平台是一个综合性的网络社区，旨在为用户提供一个内容丰富、交互性强的在线环境。平台的核心功能包括用户管理、论坛交流、信息发布和个性化服务等。管理员通过用户管理确保社区秩序，通过论坛管理促进内容的健康互动，而网站公告管理则保证了信息的及时传达。系统管理和个人中心为管理员和用户提供了必要的账户管理和个性化设置。这个平台以其直观的用户界面、丰富的互动功能和便捷的信息管理，成为了人们社交和信息获取的重要渠道。

【微服务】Spring Cloud中如何使用Eureka

通过以上步骤，我们使用 Spring Cloud 和 Eureka 实现了基本的服务注册和发现机制。Eureka 服务注册中心负责管理和协调服务的注册与发现，而各个微服务通过 Eureka 客户端与注册中心进行交互，实现服务的动态注册和发现。😊🙏如果大家对相关文章感兴趣，可以关注公众号"架构殿堂"，会持续更新AIGC，java基础面试题, netty, spring boot, spring cloud等系列文章，一系列干货随时送达!如果有项目或者毕设合作，请V:fengyelin8866,备注毕设。

大数据基础知识【大数据导论】

大数据素养个人大佬的，将是我成长路上阿川水平有限，如，欢迎大佬大数据。

Flink底层原理解析：案例解析（第37天）

Apache Flink 是一个开源的流处理框架，用于处理无界和有界数据流。其底层原理复杂而精细，涉及到数据流模型、任务调度与执行、内存管理、容错机制等多个方面。本文是对 Flink 底层原理的详细分析，并通过举例来说明这些原理。

SpringBoot整合Flink CDC，实时追踪mysql数据变动

Flink CDC（Flink Change Data Capture）是一种基于数据库日志的CDC技术，它实现了一个全增量一体化的数据集成框架。与Flink计算框架相结合，Flink CDC能够高效地实现海量数据的实时集成。其核心功能在于实时监视数据库或数据流中的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。借助Flink CDC，用户可以轻松地构建实时数据管道，实时响应和处理数据变动，为实时分析、实时报表和实时决策等场景提供有力支持。

基于大数据+爬虫+数据可视化+SpringBoot+Vue的智能孕婴护理管理与可视化平台系统设计和实现(源码+LW+部署讲解)

智能孕婴护理平台，致力于为孕婴家庭提供专业、便捷的护理服务。利用先进技术，实现个性化定制、远程监控与即时指导，让孕婴护理更科学、安全。平台致力于打造一站式解决方案，满足家庭在孕期、婴儿护理等方面的全方位需求。本论文将总体分析智能孕婴护理需求，再从不同角度分析具体功能需求，运用Java相关技术，采用MySQL数据库，讨论如何设计并实现一个智能孕婴护理管理系统。

RabbitMQ之顺序消费

消息发送端的顺序，大部分业务不做要求，谁先发消息无所谓，如果遇到业务一定要发送消息也确保顺序，那意味着，只能全局加锁一个个的操作，一个个的发消息，不能并发发送消息。虽然消息队列的消息是顺序的，但是多个消费者并发消费消息，获取的消息的速度、执行业务逻辑的速度快慢、执行异常等等原因都会导致消息顺序不一致。我们说如何保证消息顺序性，通常说的就是消费者消费消息的顺序，在多个消费者消费同一个消息队列的场景，通常是无法保证消息顺序的，一般我们讨论如何保证消息的顺序性，会从下面三个方面考虑。2：队列中消息的顺序。

SparkGraphX与Solr比较

SparkGraphX与Solr比较作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming关键词：Graph Processing, Solr, Distributed Computing, Large Scale Data Retrieval, Se

大数据知识图谱——基于知识图谱+深度学习的大数据(KBQA)NLP医疗知识问答可视化系统（全网最详细讲解及源码/建议收藏）

通过搭建一个医疗领域知识图谱，并以该知识图谱完成自动问答与分析服务。 基于知识图谱+flask的KBQA医疗问答系统以neo4j作为存储，基于传统规则的方式完成了知识问答，并最终以关键词执行cypher查询，并返回相应结果查询语句作为问答。后面我又设计了一个简单的基于 Flask 的聊天机器人应用，利用nlp自然语言处理，通过医疗AI助手根据用户的问题返回结果，用户输入和系统返回的输出结果都会一起自动存储到sql数据库。后面又封装了深度学习模型完成一个完整基于深度学习知识图谱问答可视化系统。

踏入大数据的第一天，我先入入门

【转行原因】目前数据每天已亿计算，作为 Java程序员的我已经无法使用常规工具对数据进行捕捉、管理和处理这些数据集合。MySQL的存储容量也只有500-1000行数据。而且数据每天还在告诉增长，还不带重样的。还有就是跟着党走，我要搞新基建。所以我来了，我来了,我踏着七彩祥云走来了…按顺序给出存储单位：bit、Byte、KB、MB、GB、TB、PB、ZB、YB、BB、NB、DB。大数据主要是干嘛的：海量数据的存储和海量数据的分析计算问题。en…我是刚入门，不要骂我菜…

Zookeeper详解（最详细的zookeeper解析+项目实例）

zooKeeper 是一个开放源码的分布式协调服务，主要为了解决分布式架构下数据一致性问题， 它是集群的管理者， 监视着集群中各个节点的状态，根据节点提交的反馈进行下一步合理操作。 最终， 将简单易用的接口和性能高效、 功能稳定的系统提供给用户

Kafka-ACK机制（ack应答原理、冥等性、事务）

Kafka ACK机制

【Hadoop】DataNode 数据盘进行磁盘DiskBalancer

DiskBalancer是一个命令行工具，可在DataNode的所有磁盘上均匀分发数据。 此工具对给定的DataNode进行操作，并将块从一个磁盘移动到当前DataNode的另一个磁盘。DiskBalancer通过创建计划并继续在DataNode上执行该计划。 计划是一组陈述，描述了两个磁盘之间应该移动的数据。 计划由多个移动步骤组成。 移动步骤具有源磁盘，目标磁盘和移动的字节数。 可以针对运行数据节点执行计划。DiskBalancer是一个相对独立的线程，它可以对数据的复制进行限流。

【大数据Hive】hive select 语法使用详解

hive 查询语法使用详解

Flink-Checkpoint机制详解：(第41天)

本文通过案例方式详解-Flink-Checkpoint机制。

【Hive】（二十二）往 Hive 表中插入与导出数据方式load 、insert

往hive数据仓库的表中导入数据，可以直接insert ，也可以选择load方式。当然也可以通过第三方工具如sqoop等将数据导入到hive当初。特别注意：hive虽然不会验证用户装载的数据和表的模式是否匹配，但是hive会验证文件的存储格式和hive定义的表结构的存储格式是否一致。比如将文本文件装载到sequencefile表中则报错。

Zookeeper入门篇，了解ZK存储特点

继上次说完 Zookeeper 的安装后，已经过去半年多了，一直没有后续，本次得空就更新一下入门篇，给同学们介绍一下 Zookeeper ，并着重说一下其存储原理

Rabbitmq消息不丢失

有时，业务处理成功，消息也发了，但是我们并不知道消息是否成功到达了rabbitmq，如果由于网络等原因导致业务成功而消息发送失败，那么发送方将出现不一致的问题，此时可以使用rabbitmq的发送确认功能，即要求rabbitmq显式告知我们消息是否已成功发送。有时，消息被正确投递到消费方，但是消费方处理失败，那么便会出现消费方的不一致问题。由于消息队列是公共模块，我们把mq的相关业务封装到该模块，其他service微服务模块都可能使用，因此我们把他封装到一个单独的模块，需要使用mq的模块直接引用该模块即可。