Seal^_^【送书活动第2期】——《Flink入门与实战》

Seal^_^【送书活动第2期】——《Flink入门与实战》

【大数据】分布式文件系统HDFS

一文快速聊明白HDFS的核心概念

一文读懂湖仓一体，什么是数据仓库和数据糊

湖仓一体能发挥出数据湖的灵活性与生态丰富性，以及数据仓库的成长性与企业级能力。帮助企业建立数据资产、实现数据业务化、进而推进全线业务智能化，实现数据驱动下的企业数据智能创新，全面支撑企业未来大规模业务智能落地。

编写Spark独立应用程序

执行本文之前，先搭建好spark的开发环境，我目前只搭建了standalone模式，参考链接 ：1）下载sbt网址：https://www.scala-sbt.org/download.html ，下载sbt-1.8.3.tgz。2）将下载好的安装包拷贝到共享文件夹，3）解压到/usr/local4）修改权限5）将bin目录下的sbt-launch.jar复制到sbt的安装目录下6) 创建脚本/usr/local/sbt/sbt，添加如下内容：7) 修改权限8) 检验 sbt 是否可用。

【Ambari】Ansible自动化部署大数据集群

ansible 自动化安装ambari

Kafka学习笔记（二、linux和docker安装及使用demo）

第一个总是Kafka Connect进程的配置，包含常见的配置，比如Kafka要连接的代理和数据的序列化格式。这些示例配置文件，包含在Kafka中，使用您之前启动的默认本地集群配置并创建两个连接器:第一个是源连接器，它从输入文件中读取行并将每个行生成到Kafka主题，第二个是接收器连接器，它从Kafka主题中读取消息并将每个消息作为输出文件中的一行生成。下面我们介绍如何使用简单的连接器来运行Kafka Connect，将数据从文件导入到Kafka主题，并将数据从Kafka主题导出到文件。

【C++练级之路】【Lv.20】位图和布隆过滤器（揭开大数据背后的神秘面纱）

是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的。这种特性其实说两面一体的，既能带来优势（精准快速判断一定不存在），也会带来缺陷（存在会误判）。它不再是一 一映射的关系，而是将一个值映射到多个地址，从而降低了值与值之间冲突的概率。，其中运用最多的是string类。同时，面对数据量小且特殊的情况时，位图所消耗的空间可能比哈希表大。，每个位只能存储0或1，分别代表数据不存在和存在。的思想，在实际中有许多运用，之前介绍的。，将不同类型转换为整型，映射在位图上。

【大数据毕设】基于Hadoop的音乐推荐系统的设计和实现(六)

作为基于大数据的音乐推荐系统，其功能主要是对数据进行处理，保证能够在大量低质量的数据中筛选出高质量的数据，在这个过程中要保证能够数据的准确性以及结果的准确性，再结合需求进行剖析，在设计系统时要从程序、功能和友好界面等方面进行考虑，从而设计出更加便捷的系统。在了解系统需求之后，基于大数据的音乐推荐系统可分为数据清洗，数据上传，数据分析，数据存储，数据可视化这一整个流程模块。

【Hadoop】下载安装及伪分布式集群搭建教程

一文详解hadoop下载安装以及伪分布式集群搭建教程

上手第一关，手把手教你安装kafka与可视化工具kafka-eagle

在本篇技术博文中，我们详细地教你如何安装kafka，还有它的可视化工具，中间也列举了一些异常以及它的处理方式，真正做到了手把手教学。那么安装教学就告一段落。在后面的学习中，我们将讲解他们的使用及运行原理，希望同学们能喜欢。

Spark-机器学习（1）什么是机器学习与MLlib算法库的认识

从这一系列开始，我会带着大家一起了解我们的机器学习，了解我们spark机器学习中的MLIib算法库，知道它大概的模型，熟悉并认识它。同时，本篇文章为个人spark免费专栏的系列文章，有兴趣的可以收藏关注一下，谢谢。同时，希望我的文章能帮助到每一个正在学习的你们。也欢迎大家来我的文章下交流讨论，共同进步。

150个CMD命令(史上更全cmd命令 net命令)

史上更全cmd命令 net命令运行操作cmd命令:开始-运行(或快捷键win+R) -输入cmd-回车(win10系统打开方式:鼠标右键点击开始图标-选择运行)，在命令行里可以看到系统版本、文件系统版本。

大数据 DataX 详细安装教程

大数据 DataX 详细安装教程

基于Zookeeper 简单实现分布式任务协调组件

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

ClickHouse生产运维系列[部署篇]-02_Zookeeper介绍及集群安装部署_zookeeper clickhouse

将下载的apache-zookeeper-3.8.3-bin.tar.gz安装包分别上传到三台服务器某个目录下，比如/home目录，保持目录统一。16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?7、Tomcat和Resin有什么区别，工作中你怎么选择?

Flink设计&运行原理 | 大数据技术

为了支持分布式运行，Flink和其他大数据框架一样，采用了主从架构

【李老师云计算】实验二：Spark集群的搭建与求解最大值

Spark配置及Scala实现100个随机数找最大值

深入剖析：Kafka流数据处理引擎的核心面试问题解析75问（5.7万字参考答案）

Kafka 是一款开源的分布式流处理平台，被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究 Kafka 的基本原理、特点以及其在实际应用中的价值和作用。 Kafka 的基本原理是建立在发布-订阅模式之上的。生产者将消息发布到主题（Topic）中，而消费者则可以订阅这些主题并处理其中的消息。Kafka包括多个关键组件，如生产者、消费者、主题分区、ZooKeeper 等，Kafka 实现了高性能的消息传递和存储。特点：高吞吐量、可持久化存储、水平扩展、容错性和实时性等。

常用中间件redis，kafka及其测试方法

哨兵是redis官方推荐的集群高可用解决方案它能够自动识别redis集群的健康状态并在master节点异常时将从节点提升为master节点当redis中的某个热key（比如首页广告）过期或者因为某些异常原因导致无法从缓存中读取，导致大量的并发访问数据库而崩溃数据既不存在在缓存中，也不存在在数据库中。常见一些网络攻击场景以及前端逻辑错误时发生。producer：生产者，生产消息的人consumer：消费者，消费消息的人。

Hadoop入门概论

主从模式就是中心化模式，表示有应该主节点来做管理者，协调管理下属一批节点工作。Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等存数实际的数据块并执行数据块的读写操作每隔一段时间对NameNode元数据备份。