big data practice

最新推荐文章于 2024-05-16 17:30:37 发布
最新推荐文章于 2024-05-16 17:30:37 发布
阅读量418 收藏
点赞数
分类专栏： bigdata 系统架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liangxw1/article/details/51096571
版权

1T data per day

day/per  1T


save data 3 month

month 3


total

90t



1) hdfs = relication = 3 270T

2) health value of hdfs total, 270T + 270 * 0.7 = 385T



SATA: 1T/2T/3T/4T 2T 2cpu, 6cores/cpu 12 = 24T OS 600SAS*2

SAS: 300G/600G/900G 900g 2cpu, 6cores/cpu 12 = 12T OS 600SAS*2

SSD:(Spark, NoSQL, not used by Hadoop)


385T/24T = 16 nodes(datanode)

3nodes(namenode)


16 + 3 = 19nodes


edge nodes(similar with the client for the big data platform)


19 + 1 = 20nodes


--------------------------------------------------------------------------------------------------------------------------------------







liangxw1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
big data 入门
weixin_44595582的博客
10-18 1016
big data参考厦门大学-林子雨-大数据技术原理与应用（第2版）HadoopHDFS主节点(Master Node)/名称节点(`Name Node`)。从节点(Slave Node)/数据节点(`Data Node`)HDFS 体系结构HDFS 存储原理冗余数据保存数据存取策略数据错误与恢复读写数据流程 参考厦门大学-林子雨-大数据技术原理与应用（第2版） Hadoop Apache 旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础框架。 基于 Java 语言开发，很好的跨平台特
大数据Big Data
java_wangxiaogei的博客
01-12 768
一、hadoop 1. hadoop的定义：hadoop是一个分布式存储和分布式计算的框架。 分布式存储：是一个数据存储技术，将数据存储在多个服务上的（存储单元）磁盘空间中。目前解决的是大量数据存储问题 分布式计算：将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。 2. hadoop的核心组件 HDFS：分布式存储组件 MapReduce：分布式计算组件 Yarn：资源调度管理器 3.架构模型 文...
bigdata_practice:大数据分析可视化实践
03-18
bigdata_practice 大数据实践项目-nginx日志分析可视化 功能说明 通过流，批两种方式，分析nginx日志，将分析结果通过flask + echarts进行可视化展示 数据收集分析过程 配置 安装依赖 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt 修改ironman / data_db.py的数据库配置 ENGINE_CONFIG = 'mysql+pymysql://root:root@127.0.0.1:3306/test?charset=utf8' mysql建表 -- nginx_log 日志表 create table fact_nginx_log( `id` int(11) NOT NULL AUTO_INCREMENT, `remote_add
data-practice:数据分析实践
04-02
数据实践 使用R进行数据分析的实践
BigdataPractice:我练习的源代码-Big source code
03-25
大数据实践 该存储库存储了我练习大数据框架的源代码。
Big data
weixin_45796142的博客
05-16 363
For the technology of big data using in the area of financial technology security and its application and practice. The first one is about the description of the user.The main application of big data in the area of finance security implies On the descripti
INT303 Big Data 个人笔记
sanmusen_wu的博客
12-22 1746
XJTLU大四上 大数据分析的个人笔记
Big Data in Practice How 45 Successful Companies Used Big Data Analytics to epub
12-16
Big Data in Practice How 45 Successful Companies Used Big Data Analytics to Deliver Extraordinary Results 英文epub 本资源转载自网络，如有侵权，请联系上传者或csdn删除
Big Data Architect's Handbook
09-05
A comprehensive end-to-end guide that gives hands-on practice in big data and Artificial Intelligence The big data architects are the “masters” of data, and hold high value in today’s market. ...
藏经阁-Kerberos—based Big Data Security Solution and Practice in Al
08-28
藏经阁-Kerberos—based Big Data Security Solution and Practice in Alibaba Cloud 本文将从 Kerberos—based Big Data Security Solution and Practice in Alibaba Cloud 的角度，详细介绍基于 Kerberos 的大...
餐厅点餐系统springboot.zip
09-10
开发一个基于Spring Boot的餐厅点餐系统可以大大提高餐厅的服务效率和顾客体验。下面是一个简单的案例程序，展示了如何使用Spring Boot来构建这样一个系统。这个系统将包括用户管理、菜单管理、订单管理等基本功能。 1. 创建项目 首先，通过Spring Initializr（https://start.spring.io/）创建一个新的Spring Boot项目，并添加必要的依赖项，如Web、Thymeleaf、Spring Data JPA 和 MySQL Driver。
MATLAB_SIMULINK中的病毒传播模拟器.rar
09-10
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
Sigrity-Sigrity MCP Specification.rar
最新发布
09-10
Sigrity-Sigrity MCP Specification.rar 当引脚名称映射失败时，通过坐标映射为替代引脚映射方法添加可选的引脚坐标（相对于元件原点）。 本文档描述了信号模型连接协议（MCP）。 MCP用于在管芯（芯片）、封装和PCB之间连接电路模型和/或物理布局。 MCP允许任何MCP型号的Sigrity产品内的自动模型和结构连接。 它还允许第三方工具将Sigrity模型与MCP集成或连接。 MCP使用简单的ASCII格式，支持模型连接的多个电路和引脚，并允许将物理引脚集中在电路模型中。 MCP具有可扩展性和向后兼容性。
智能优化算法-樽海鞘优化算法（SSA）
09-10
樽海鞘优化算法 (Salp Swarm Algorithm, SSA) 虽然名称中提到的是“樽海鞘”，但实际上这个算法是基于群体智能的一种元启发式优化算法，它模拟了樽海鞘（Salps）在海洋中的游动和觅食行为，用于解决复杂的优化问题。 SSA的工作机制主要包括以下几个方面： 链式游动：模拟樽海鞘在海洋中形成链状结构进行集体游动，用于探索解空间。 觅食行为：通过模拟樽海鞘的觅食行为，促进算法的局部搜索能力。 动态调整：根据当前搜索状态动态调整搜索策略，平衡全局搜索和局部搜索。 优点包括： 强大的探索能力：SSA能够有效地探索解空间的不同区域。 灵活性：适用于多种优化问题，包括连续和离散优化。 快速收敛：通常能够在较少迭代次数内找到较好的解。 易于实现：算法设计直观，易于编程实现。
CNG油改气 150+155+2.0+调试软件
09-10
CNG油改气 150+155+2.0+调试软件
为什么消费者喜欢生成式人工智能（英）(1).pdf
09-10
为什么消费者喜欢生成式人工智能（英）(1).pdf
TalendOpenStudio for Big Data入门指南
"TalendOpenStudio_BigData_GettingStarted_7.0.1_EN" Talend Open Studio for Big Data 是一个强大的开源工具，专为处理大规模数据集成任务而设计。该指南主要针对初学者，详细介绍如何安装、配置和使用Talend ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值