Hadoop
文章平均质量分 80
小獾哥
技术为我赋能
展开
-
A0-00.大数据集群规模预估
适用于中小型企业,仅供参考!!! 一、磁盘容量预估 用户数基本固定 总用户数(个):A 每个用户每天产生的数据条数(条):B 每条数据的大小(KB):C 日均数据总量(TB):D = A·B·C/1024/1024/1024 数据保留时间(天):E 副本数(个):F 预留大小(百分比):G 数仓分层(扩容倍数):H 历史数据量(TB):I 压缩(snappy):20% 计算公式 所需磁盘总量(TB) = D·E·F(1+G)H+I 压缩后:D·E·F(1+G)H+I*20% 举例:原创 2021-09-27 13:00:49 · 861 阅读 · 3 评论 -
A0-02.Hadoop集群搭建
前提:白熊搞了三台笔记本,并将其统一刷成了centos7.6的系统,下面是Hadoop集群的详细安装过程。 一、安装ifconfig服务 三台机器都要执行以下命令 yum install -y net-tools.x86_64 二、将三台服务器的IP地址改为静态IP 更改配置文件,添加以下内容 MyNode01 # 笔记本刷linux系统,只需更该连接wifi的那个网络即可 # 打开配置文件 vi /etc/sysconfig/network-scripts/ifcfg-ens33 #原创 2021-09-15 12:11:34 · 256 阅读 · 0 评论 -
A0-01.本地集群环境介绍
Hadoop集群搭建 一、集群基础信息 集群数量:3台 MyNode01 系统:Centos7.6 内存:16GB 硬盘:1T MyNode02 系统:Centos7.6 内存:12GB 硬盘:500GB MyNode03 系统:Centos7.6 内存:12GB 硬盘:500GB 二、软件包版本 系统 CentOS-7-x86_64-DVD-1810.iso CDH框架版本:5.14.2 Hadoop hadoop-2原创 2021-09-14 11:12:22 · 4407 阅读 · 1 评论