hdfs
如初⁰
以梦为马
展开
-
群起hadoop集群脚本(开启,关闭)
通过执行shell脚本语句,实现群起hadoop集群1.start.sh#!bin/bashecho "=======================正在开启集群服务======================"echo "=======================正在开启NameNode节点=================="ssh admin@hadoop-senior...原创 2019-02-17 11:14:26 · 1601 阅读 · 0 评论 -
CDH安装
一、CDH之zookeeper1、修改zoo.cfg配置文件修改conf目录下的zoo.cfg文件,如果没有该文件,请自行重命名sample.cfg文件,修改内容为:dataDir=/opt/modules/cdh/zookeeper-3.4.5-cdh5.3.6/zkDataserver.1=z01:2888:3888server.2=z02:2888:3888ser...原创 2019-02-02 23:26:43 · 262 阅读 · 1 评论 -
HDFS的写(读)数据流程、namenode和datanode工作机制总结
一、HDFS写数据流程1)客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。2)namenode返回是否可以上传。3)客户端请求第一个 block上传到哪几个datanode服务器上。4)namenode返回3个datanode节点,分别为dn1、dn2、dn3。5)客户端请求dn1上传数据,dn1收到请求会继续调用dn2,然后d...原创 2019-01-21 21:41:27 · 926 阅读 · 4 评论 -
hadoop集群——动态增加(删除)数据节点
一、环境准备(1)克隆一台虚拟机(2)修改ip地址和主机名称(3)修改xcall和xsync文件,增加新增节点的同步(4)删除原来HDFS文件系统留存的文件/opt/module/hadoop-2.7.2/data二、服役新节点具体步骤(1)在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件...原创 2019-01-20 22:57:59 · 1167 阅读 · 0 评论 -
jar包上传到集群,导致namenode不能正常启动问题
今天遇到一个对于我来说很难的问题,折磨我一上午。之前我已经搭建好hadoop集群,namenode和datanode可以正常启动。然后我把Java项目做成jar包,导入到hadoop集群中,并配置core-site.xml文件,代码如下:core-site.xml<configuration> <property> <name>fs.defa...原创 2019-01-19 16:44:21 · 244 阅读 · 1 评论 -
学习总结篇——HDFS文件系统_2
一、通过API操作HDFS1、HDFS获取文件系统//获取文件系统 @Test public void getFileSystem() throws IOException, InterruptedException, URISyntaxException { //0、创建配置信息对象 Configuration configuration = new Configurati...原创 2019-01-18 20:43:52 · 313 阅读 · 0 评论 -
学习总结篇——HDFS文件系统_1
一 HDFS概念1.1 概念HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。HDFS的设计适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。1.2 组成1)HDFS集群包括,NameNode和DataNode以及Secondary ...原创 2019-01-17 23:21:11 · 325 阅读 · 0 评论