2018年11月_黑尾土拨鼠

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 hadoop实战(四) HDFS常用操作指令

一、HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色重要特性如下：（1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M ...

2018-11-15 14:57:00 262

原创 hadoop实战(三) 使用HDFS操作文件

一、hadoop简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager二、hdfs的工作机制(一)、概述 ...

2018-11-14 14:44:16 868

原创 hadoop实战(二)ubuntu18.04搭建hadoop集群

一、安装JDK 官网下载jdk压缩包并解压， vim /etc/proflie 或者修改vi ~/.bashrc 加上如下：export JAVA_HOME=/home/hadoop/jdk1.8.0_161export HADOOP_HOME=/home/hadoop/hadoop-2.9.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_H...

2018-11-05 09:59:46 1371 3

原创 hadoop实战(一) vmware下克隆多个ubuntu18.04服务器并开启ssh远程登录

一、系统安装因为使用虚拟机搭建集群，同一台电脑上需要启动多个服务器，因此对电脑负载比较大，因此选用server版本的iso，不必要的功能尽量不安装。可以去以下地址下载 https://www.ubuntu.com/download/server 安装完之后需要先更新一下，sudo apt-get update，然后在虚拟机–&gt;管理–&gt;克隆，复制三台。复制完...

2018-11-05 09:30:37 1741 4