hadoop
月夜星星雨
回忆后的不怀念
展开
-
HDFS架构原理
HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。NameNode作为master服务,它负责管理文件系统的命名空间和客户端对文件的访问。NameNode会保存文件系统的具体信息,包括文件信息、文件被分割成具体block块的信息、以及每一个block块归属的DataNode的信息。对于整个集群来说,HDFS通过NameNode对用户...原创 2019-03-04 11:56:15 · 1167 阅读 · 0 评论 -
hadoop搭建
http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html两台虚拟机server1 master 172.25.11.1server2 slave 172.25.11.2server1 对2做好免密sshuseradd hadoop -s /sbin/nologinpasswd hadoopvi...原创 2019-04-04 00:16:26 · 174 阅读 · 0 评论 -
hadoop3.0.3搭建与入门(添加删除;调度-节点)
hadoop版本:apache cloudera(CDH版) Hortonworks(HDP版)国内对CDH用的多一般用3.0单机版scp hadoop-3.0.3.tar.gz jdk-8u181-linux-x64.tar.gz server1:/root/src是源码包 4 useradd hadoop 5 cd /home/hadoop/...原创 2019-04-06 09:41:22 · 532 阅读 · 0 评论 -
hadoop3.0.3高可用(ZK;DN)
server1-5五台配置好apache的hadoopnfs-utils rpcbind 将hadoopserver1挂载-->2-5清空环境sbin/stop-yarn.shsbin/stop-dfs.shrm -fr /tmp/* 每个节点kill 所有java进程2 5 高可用134 zkser...原创 2019-04-06 15:18:01 · 439 阅读 · 0 评论