大数据
文章平均质量分 80
lxw1005192401
这个作者很懒,什么都没留下…
展开
-
linux安装ES
ES linux安装原创 2022-11-25 17:19:56 · 2815 阅读 · 0 评论 -
Linux下nginx的安装
第一步:下载nginx压缩包在这里可以去nginx官网下载也可以直接使用wget命令下载,指令如下所示(请根据自己的需求进行下载):wget -c https://nginx.org/download/nginx-1.10.1.tar.gz注意:这里建议选择官网发布的稳定版本注意:这一步最好在自己的目标目录进行操作,我一般是把压缩包下载到/usr/local目录下。第二步:配置nginx安装所需的环境1. 安装gcc安装 nginx 需要先将官网下载的源码进行编译,编译依赖 gcc原创 2022-03-29 09:38:12 · 3342 阅读 · 0 评论 -
MINIO分布式集群的详细搭建
一、基础环境操作系统:CentOS 7.3Minio下载将下载好的minio移动到 /opt/minio/文件夹下 或 者进入到/opt/minio/文件夹下使用下面的命令下载:wgethttps://dl.minio.io/server/minio/release/linux-amd64/minio二、准备工作2.1、机器资源192.168.129.133 挂载磁盘路径:/data/minio_data192.168.129.135 挂载磁盘路径:/data/mi...原创 2022-03-28 11:10:54 · 6209 阅读 · 0 评论 -
Minio分布式集群搭建
一、分布式Minio快速入门分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。1、分布式Minio有什么好处?在大数据领域,通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。数据保护分布式Minio采用 erasure code(纠删码)来防范多个节点宕机和位衰减bit rot。分布式Mini...转载 2022-03-28 10:22:20 · 3269 阅读 · 1 评论 -
使用Cloudera部署,管理Hadoop集群
1. Cloudera介绍Hadoop是一个开源项目,Cloudera对Hadoop进行了商业化,简化了安装过程,并对hadoop做了一些封装。 根据使用的需要,Hadoop集群要安装很多的组件,一个一个安装配置起来比较麻烦,还要考虑HA,监控等。使用Cloudera可以很简单的部署集群,安装需要的组件,并且可以监控和管理集群。 CDH是Cloudera公司的发行版,包含H...转载 2019-01-22 13:39:26 · 417 阅读 · 0 评论 -
cdh 离线安装
环境: 操作系统:CentOS 6.5 hadoop: cloudera hadoop 5.1.0 主机:192.168.1.100 master 内存4G 硬盘25G, 192.168.1.101 slave1 内存2G 硬盘25G 一、Linux 环境设置 以下操作是在master主机上进行 1.网卡设置 [Shell] ...转载 2019-01-23 10:49:05 · 145 阅读 · 0 评论 -
Hadoop Block数据块详解
分块磁盘也是由数据块组成的,一般默认大小是512字节,构建磁盘之上的文件系统一般是磁盘块的整数倍。在HDFS系统中,为了便于文件的管理和备份,引入分块概念(block)。这里的块是HDFS存储系统当中的最小单位,HDFS默认定义一个块的大小为64MB。当有文件上传到HDFS上时,若文件大小大于设置的块大小,则该文件会被切分存储为多个块,多个块可以存放在不同的DataNode上,整个过程中...转载 2019-06-03 09:31:39 · 2151 阅读 · 0 评论 -
Hadoop学习之Mapreduce执行过程详解
一、MapReduce执行过程 MapReduce运行时,首先通过Map读取HDFS中的数据,然后经过拆分,将每个文件中的每行数据分拆成键值对,最后输出作为Reduce的输入,大体执行流程如下图所示:整个流程图具体来说:每个Mapper任务是一个java进程,它会读取HDFS中的文件,解析成很多的键值对,经过我们覆盖的map方法处理后,转换为很多的键值对再输出,整个Mapper任务的...转载 2019-06-03 10:21:03 · 346 阅读 · 0 评论