![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据应用
文章平均质量分 84
常见大数据组件及组件的应用
孟郎郎
要么就别做,要做就做好。
展开
-
Redis四种模式:单机、主从、哨兵、集群
Redis是一个开源的内存数据存储系统,它可以存储键值对数据,并且支持多种数据结构。Redis提供了四种主要的部署模式,它们分别是单机模式、主从模式、哨兵模式和集群模式。转载 2023-11-13 10:56:06 · 133 阅读 · 0 评论 -
大数据学习初级入门教程(十七) —— Elasticsearch 8.7.0 完全分布式集群的安装、配置、启动和测试
下载了目前官网最新的版本 elasticsearch-8.7.0-linux-x86_64再重温下集群部署。按步骤部署过程中,发现不少和老版本不一致的地方,这里记录一下。原创 2023-04-24 17:31:05 · 1397 阅读 · 0 评论 -
大数据学习初级入门教程(十六) —— Hadoop 3.x 完全分布式集群的安装、启动和测试
下载了目前官网最新的版本hadoop-3.3.5 再重温下集群部署。按步骤进行到格式化集群步骤时,发现不少和老版本不一致的地方,这里记录如下。原创 2023-04-23 16:55:56 · 854 阅读 · 0 评论 -
大数据学习初级入门教程(十五) —— Redis 在 Windows 系统上的安装、配置、启动和测试
项目中使用 Redis 缓存库,一版 Redis 都是安装在 Linux 机器上,有单节点部署安装,伪分布式部署安装,分布式集群模式部署安装,分布式哨兵模式部署安装等部署形式。但有时候手头没有 Redis 服务,又没有 Linux 环境供安装 Redis 服务,这时在 Windows 主机上运行 Redis 服务会更加便捷。如何在 Windows 上运行 Redis 服务呢?接下来就简单聊聊。原创 2022-11-08 22:52:55 · 1639 阅读 · 0 评论 -
大数据学习初级入门教程(十四) —— Flume 1.9.x 单节点的安装、配置、启动和测试
本篇主要简单介绍下 Flume 的安装、配置、启动和测试。Flume 是一种分布式的、可靠的且可用的服务,可以高效地收集、聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有健壮性和容错性,具有可调的可靠性机制和许多故障转移和恢复机制。它使用一个简单的可扩展数据模型,允许在线分析应用。原创 2022-10-05 10:52:53 · 651 阅读 · 0 评论 -
大数据学习初级入门教程(十三) —— Redis 3.x 伪分布式集群(哨兵模式)的安装、配置、启动和测试
工作过程中发现,很多 Redis 集群都是哨兵模式,这篇文章主要借鉴前面的伪分布式集群,搭建一个伪分布式的哨兵模式集群。由于 Redis 集群哨兵一版配置奇数个节点,比如3、5、...,这里定三个哨兵节点,一个主节点和两个从节点,即 1 + 2 + 3 模式。所以总共需要6个redis节点。原创 2022-09-17 17:24:40 · 897 阅读 · 0 评论 -
大数据学习初级入门教程(十二) —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成
在以前一篇《大数据学习初级入门教程(一) —— Hadoop 2.x 完全分布式集群的安装、启动和测试》中,详细写了 Hadoop 完全分布式集群的安装步骤,在上一篇《大数据学习初级入门教程(十一) —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试》中详细写了 Zookeeper 完全分布式集群的安装步骤,所以这篇谢谢如何让两个集群做集成,让 Zookeeper 保证 ...原创 2020-04-14 21:22:38 · 388 阅读 · 0 评论 -
大数据学习初级入门教程(十一) —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试
从前面一系列的基础部署教程中,可以看到大数据集群的部署中,为了保证集群的高可用性,一般都会配置 Zookeeper,比如 Kafka 集群的搭建中,就添加了 Zookeeper 配置。所以这篇补充一下 Zookeeper 集群的搭建,简单写写 Zookeeper 3.x 的安装配置、启动和测试。一、所需环境参考《大数据学习初级入门教程(一) —— Hadoop 2.x 完全分布式集群的安装...原创 2020-04-14 20:24:32 · 433 阅读 · 3 评论 -
大数据学习初级入门教程(十) —— Elasticsearch 7.6.2 完全分布式集群的安装、配置、启动和测试
在前两篇文章《大数据学习初级入门教程(八) —— Elasticsearch 7.6.2 单节点的安装、启动和测试》和《大数据学习初级入门教程(九) —— Elasticsearch 7.6.2 伪分布式集群的安装、配置、启动和测试》中,已经对 ES 集群的单节点安装和伪分布式集群安装做了安装、配置、启动和测试,这篇文章主要对 ES 完全分布式集群安装进行详细的图文说明。由于前两篇把部署和启动...原创 2020-04-12 23:12:18 · 893 阅读 · 0 评论 -
大数据学习初级入门教程(九) —— Elasticsearch 7.6.2 伪分布式集群的安装、配置、启动和测试
在前一篇文章《大数据学习初级入门教程(八) —— Elasticsearch 7.6.2 单节点的安装、启动和测试》中,简要说明了在一台测试服务器上如何安装单节点 Elasticsearch 并做了简单的测试,这篇主要说下在一台机器上如何配置多个节点,需要在前一篇文章操作后的基础上,搭建 Elasticsearch 伪分布式集群,这里配置 3 个代理节点。特别注意:由于需要在一台机器上同时启动...原创 2020-04-04 12:56:10 · 692 阅读 · 0 评论 -
大数据学习初级入门教程(八) —— Elasticsearch 7.6.2 单节点的安装、启动和测试
本篇文章主要介绍 Elasticsearch 7.6.2 版本的单节点安装、启动及测试步骤,供初学者参考。测试系统为 CentOS 6.9,JDK 版本为1.8.0_172。第一步:下载安装包并上传到测试服务器下载地址为官网地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-linux-x...原创 2020-04-04 09:51:42 · 1832 阅读 · 0 评论 -
大数据学习初级入门教程(七) —— Redis 3.x 完全分布式集群的安装、配置、启动和测试
在前两篇文章《大数据学习初级入门教程(二) —— Redis 3.x 单节点的安装、启动和测试》和《大数据学习初级入门教程(六) —— Redis 3.x 伪分布式集群的安装、配置、启动和测试》中,已经对 Redis3.x 的单节点安装和伪分布式集群安装做了安装、配置、启动和测试,这篇文章主要对 Redis3.x完全分布式集群安装进行详细的图文说明。集群搭建条件:和搭建伪分布式集群一样,...原创 2019-12-17 21:48:52 · 488 阅读 · 1 评论 -
Redis 集群的 5 种使用方式各自优缺点分析
本文主要针对 Redis 常见的几种使用方式及其优缺点展开分析。一、常见使用方式Redis 的几种常见使用方式包括:Redis 单副本 Redis 多副本(主从) Redis Sentinel(哨兵) Redis Cluster Redis 自研二、各种使用方式的优缺点1、Redis 单副本Redis 单副本,采用单个 Redis 节点部署架构,没有备用节点实时同步数...转载 2019-12-15 19:31:53 · 1152 阅读 · 0 评论 -
大数据学习初级入门教程(六) —— Redis 3.x 伪分布式集群的安装、配置、启动和测试
在上一篇文章《大数据学习初级入门教程(二) —— Redis 3.x 单节点的安装、启动和测试》中,介绍了如何在工作需要时,临时安装一个单节点的 Redis 库,便于进行测试。这一篇主要说说如何搭建 Redis 伪分布式集群,就是说机器不够的情况下,模拟搭建 Redis 集群。集群搭建条件:Redis 集群至少需要 3 个节点;每个集群节点都需要有从节点,即备份节点,保证集群的高可...原创 2019-12-15 13:31:09 · 405 阅读 · 3 评论 -
大数据学习初级入门教程(五) —— Kafka 2.3.0 完全分布式集群的安装、配置、启动和测试
在前两篇文章《大数据学习初级入门教程(三) —— Kafka 2.2.0 单节点的安装、启动和测试》和《大数据学习初级入门教程(四) —— Kafka 2.2.0 伪分布的安装、配置、启动和测试》中,已经对 Kafka 集群的单节点安装和伪分布式集群安装做了安装、配置、启动和测试,这篇文章主要对 Kafka 完全分布式集群安装进行详细的图文说明。在没发表文章的这段时间,Kafka 最新版本已经...原创 2019-08-28 19:34:22 · 663 阅读 · 0 评论 -
Zookeeper 启动后的日志文件 zookeeper.out 路径修改
当你安装好 Zookeeper 集群后,迫不及待的用启动命令 zkServer.sh start 启动集群,用命令 zkServer.sh status 查看集群状态时,看到集群正常启动并运行,心里是不是美滋滋,不过当你查看安装目录时,可以看到在你运行启动命令的目录里,生成了 zookeeper.out 日志文件,心情一下就不爽了。那么问题来了,这个目录是否可以自定义设置呢?答案当然是可以的,...原创 2019-08-26 20:12:47 · 6526 阅读 · 0 评论 -
大数据学习初级入门教程(四) —— Kafka 2.2.0 伪分布式集群的安装、配置、启动和测试
在前一篇文章《大数据学习初级入门教程(三) —— Kafka 2.2.0 单节点的安装、启动和测试》中,简要说明了在一台测试服务器上如何安装单节点 Kafka 并做了消息发送和获取的测试,这篇主要说明一下在一台机器上如何配置多个节点,需要在前一篇文章操作后的基础上,搭建 Kafka 伪分布式集群,这里配置 3 个代理节点。第一步:创建配置文件为每个代理节点创建一个配置文件,可以直接复制已有...原创 2019-05-21 21:52:52 · 495 阅读 · 2 评论 -
大数据学习初级入门教程(三) —— Kafka 2.2.0 单节点的安装、启动和测试
本篇文章主要介绍 Kafka 2.2.0 版本的单节点安装、启动及测试步骤,供初学者参考。测试系统为 CentOS 6.9,JDK 版本为1.8.0_172。第一步:下载安装包并上传到测试服务器下载地址为官网地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2.12-2.2.0.tgz。下载后上传到测试服...原创 2019-05-21 20:46:29 · 681 阅读 · 0 评论 -
大数据学习初级入门教程(二) —— Redis 3.x 单节点的安装、启动和测试
在日常开发中,为了满足系统的及时响应性,一版都会在开发中使用 Redis 做缓存,这篇主要介绍下 Redis 3.x 版本的安装、启动及测试。一、下载 Redis 安装包这里就不再赘述,本篇测试用的版本为:redis-3.2.9.tar.gz。二、上传安装包到服务器也不再赘述。三、解压安装包命令:tar -zxvf redis-3.2.9.tar.gz四、进入安装包...原创 2019-01-12 16:15:05 · 491 阅读 · 0 评论 -
大数据学习初级入门教程(一) —— Hadoop 2.x 完全分布式集群的安装、启动和测试
大数据最基础的就是数据的存储和计算,而 Hadoop 就是为存储和计算而生,是最基础的大数据处理工具。这篇简单写写 Hadoop 2.x 的安装,启动和测试。一、准备环境大数据环境的部署,一般都是集群,机器数量为奇数,这里以 5 台机器为例,操作系统为 CentOS 6.9_x64;IP 分别为 192.1688.220.19,192.1688.220.18,192.1688.220.11...原创 2018-12-08 13:49:58 · 472 阅读 · 0 评论 -
Hadoop2 伪分布式安装
单机模式的 Hadoop 不需要配置,默认 Hadoop 是一个单独的 Java 进程,该模式经常用来调试。伪分布式的 Hadoop 配置,在该模式下,可以看作只有一个节点的集群,既是 Master,又是Slave,既是 NameNode,也是 DataNode,既是 JobTracker,亦是 TaskTracker。原创 2017-09-17 06:02:50 · 452 阅读 · 0 评论 -
Window 下 Elasticsearch 5.5.1 的安装与配置
ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。原创 2017-08-20 18:00:51 · 3184 阅读 · 1 评论