- 博客(5)
- 收藏
- 关注
RSS订阅原创 观察分块情况以及文件块的复制和datanode的动态添加
一、将hdfs-site.xml的replication值设为2，通过网页观察分块情况在阅读这篇博客之前，你应该先阅读: 使用hdfs dfs命令对文件进行增删改查操作.1.将hdfs-site.xml的replication值设为2vim hdfs-site.xml添加如下内容： dfs.replication 2修改完成后，你需要重新启动hadoop
2017-04-16 15:20:45
962
原创 使用hdfs dfs命令对文件进行增删改查操作
一、put文件到HDFS在阅读这篇博客之前，你应该先阅读: 对集群进行集中管理.1.使用hdfs dfs -put file /解释：file指的是你本地文件路径地址，/指的是hdfs的根路径.例如我现在位于/usr/local/source路径下面，我想把当前路径下的hadoop-2.7.3.tar.gz上传到hdfs上面，hadoop-2.7.3.tar.gz这个文件大概是20
2017-04-16 13:45:15
6852
原创 对集群进行集中管理
一、目前存在的问题在阅读这篇博客之前，你应该先阅读: 简单认识namenode和datanode.在之前，我们启动Hadoop集群的时候，首先是启动namenode，然后启动datanode. 注意：我们之前的做法是手动的将启动datanode的命令发送给所有的datanode，显然如果在集群很庞大的时候，这种做法是不合适的.我们希望通过start-dfs.sh的方式启动所有的节点.那么我
2017-04-16 11:07:07
770
原创 简单认识namenode和datanode
一、Hadoop的启动在阅读这篇博客之前，你应该先阅读：Hadoop的安装与环境搭建.1. 首先在npdev1机器上面运行hadoop-daemon.sh start namenode，启动namenode.2. 然后在npfdev2,npfdev3,npfdev4分别运行hadoop-daemon.sh start datanode3. 启动完成之后，我们的Hadoop的
2017-04-16 09:37:24
630
原创 Hadoop的安装与环境搭建
一、Hadoop的安装1. 下载地址：https://archive.apache.org/dist/hadoop/common/ 我下载的是hadoop-2.7.3.tar.gz版本。2. 在/usr/local/ 创建文件夹zookeepermkdir hadoop3.上传文件到Linux上的/usr/local/source目录下3.解压缩运行如下命令：
2017-04-01 14:26:30
672
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人