![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Big Data
王彦麟
enjoy it
展开
-
fate训练框架安装
本文为原版fate1.4.1版本三台机器更改而来。Fate Cluster step by step部署指南1.服务器配置服务器数量2配置8 core /16GB memory / 500GB硬盘/10M带宽操作系统CentOS linux 7.2及以上/Ubuntu 16.04 以上依赖包(参见4.5 软件环境初始化)用户用户:app,属主:app(app用户需可以sudo su root而无需密码)文件系统1. 500G硬盘挂载在/ d原创 2020-07-27 21:54:46 · 1401 阅读 · 0 评论 -
Yarn系列一——yarn中角色说明
Yarn有两个核心长时间运行的守护程序:ResourceManager、NodeManager:ResourceManager,主要负责全局的资源管理,整个集群只有一个,主要有ApplicationManager和scheduler两个主要的组件:ApplicationManager主要负责管理已经提交的程序,在程序提交之后,ApplicationManager首先会检查集群...原创 2019-01-02 18:55:44 · 4066 阅读 · 0 评论 -
hdfs-quota
简介HDFS允许管理员为每一个用户和每一个文件夹设置配额:命名配额和空间配额。name quota:该目录下的名字数量做硬性限制,为文件夹下的数量作出的限制,超过限制则会报错:quota exceed,最大值配额:Long.MAX_Valus。新创建的文件夹没有分配quota。space quota设置一个文件夹的大小,如果超过则块写入会失败(副本也算)。最大的配额:L...原创 2019-03-19 20:24:29 · 749 阅读 · 0 评论