Hadoop
关注
分享
扫一扫
用VMware Workstation Pro虚拟机虚拟出三台(一主二从，一个master，两个slave)CentOS7操作系统搭建Hadoop集群（包括虚拟机性能规划、主从节点规划、IP规划等），实现本地与云平台之间的文件上传、下载功能。
stephen@
放羊的牧羊犬
展开
-
使用HDFS管理界面
进入HDFS管理界面这里可以看到HDFS的管理情况在hadoop001打开浏览器，进入HDFS管理界面，输入：192.168.216.128:50070点击Datanodes（to be continued ）快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群 ...原创 2019-04-11 22:27:09 · 9391 阅读 · 1 评论 -
Hadoop运行结果
5.5 Hadoop运行结果Hadoop的各个web界面的地址web界面地址HDFS页面hostname:50070YARN的管理界面hostname:8088HistoryServer的管理界面hostname:19888Zookeeper的服务端口号hostname:2181Mysql的服务端口号hostname:3306Hive...原创 2019-04-11 22:07:29 · 3323 阅读 · 0 评论 -
查看各个节点启动状态
提出问题： 查看各个节点启动状态第一步：查看master节点启动状态 在master(hadoop001)上查看slave1和slave2启动状态 在slaves(hadoop002和hadoop003)上（to be continued ）快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群 ...原创 2019-04-11 20:27:24 · 8431 阅读 · 0 评论 -
在master节点启动hdfs
问题提出： 在master节点启动hdfs第一步： 接着上篇的步骤，在master节点上，在hadoop的根目录的/sbin上启动hdfs的全部节点， 成功结果如下，如抛出错误，按照抛出具体问题自行google、bing、百度解决。启动个别节点启动namenode sbin/hadoop-daemon.sh start namenode启动datanode sbin...原创 2019-04-11 20:20:57 · 4255 阅读 · 0 评论 -
初始化hdfs
提出问题： 什么是HDFS 怎么初始化HDFS什么是HDFS本小节不再详述hdfs，请参考构建HDFS里面对HDFS介绍怎么初始化HDFS在master节点上运行,初始化HDFS第一步：找到hadoop根目录的bin，输入初始化代码：hdfs namenode - format成功结果如下，如抛出错误，按照抛出具体问题自行google、bing、百度解决。（to be ...原创 2019-04-11 20:06:32 · 4448 阅读 · 0 评论 -
构建HDFS
5.4 构建HDFS Hadoop 附带了一个分布式文件系统(Hadoop Distributed File System，以下简称HDFS)，基于 Hadoop 的应用程序使用 HDFS 。HDFS 是专为存储超大数据文件，运行在集群的商品硬件上。它是容错的，可伸缩的，并且非常易于扩展。 当数据超过一个单个物理机器上存储的容量，除以跨独立机器数。管理跨越机器的网络存储特定操作被称为分布...原创 2019-04-09 21:13:28 · 2819 阅读 · 0 评论 -
使用ssh传输文件
使用SSH在电脑之间传输文件，因为本教程已经用VMware 14 克隆 CentOS 7，把主机的整个Hadoop文件到其他电脑上，达到Hadoop创建从机的要求。在此就不再详述如果是使用其他台式物理电脑的朋友，可以使用使用ssh将配置好的hadoop传到另外从机电脑上本教程使用ssh将在主机上配置好的hadoop和环境变量路径传到另外两台虚拟机第一步：查看此时路径：使用scp传输Ha...原创 2019-04-08 22:30:14 · 23060 阅读 · 0 评论 -
安装密钥
前言：在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。" 公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥 （公钥文件：~/.ssh/id_rsa.pub； 私钥文件：~/.ssh/id_rsa）。然后把公钥放到服务器上（~/.ss...原创 2019-04-06 17:09:52 · 3377 阅读 · 1 评论 -
克隆虚拟机并创建从机
问题描述：本小节克隆虚拟机并创建从机，克隆的状态是 从 主机（master）已经完成安装hadoop的7个配置文件 克隆到 从机(slave)上。克隆数目为两个，并对应修改其主机名（hostname）和ip地址。其中hadoop中主从机的别名、节点名、主机名和IP地址映射关系如下表:NamefunctionhostnameIP addressMasterNameNo...原创 2019-04-06 16:45:50 · 2547 阅读 · 0 评论 -
创建从机（slave）
第五章主要是创建从机的教程，分别是克隆虚拟机，安装密钥（本教程是主机无密码登录从机），在安装完密钥的基础上使用ssh传输文件。5.3 创建从机（slave） 5.3.1 克隆虚拟机并创建从机 VMware 克隆虚拟机，克隆你最想回到系统的状态，克隆虚拟机可以快速的创建虚拟机，免去重复安装的烦恼。 5.3.2 安装密钥 在搭建Hadoop环境需要设置无密...原创 2019-04-06 16:25:37 · 2770 阅读 · 0 评论 -
配置slave
问题描述： 设置Hadoop的slave有多少个，本节以设置两个slave。要完成添加slave，要克隆slave或者自建slave,本教程是克隆虚拟机，如果没有克隆多个虚拟机slave，请完成克隆虚拟机并且修改克隆好的虚拟机的IP地址和修改虚拟机系统的主机名.（以下简称hostname），才能完成Hadoop的slave文件配置。第一步： 打开slaves文件第二步： 添加你自...原创 2019-04-06 10:42:10 · 5384 阅读 · 0 评论 -
配置hadoop环境变量
问题描述： 将之前解压的JDK的根目录和Hadoop根目录添加到/etc/profile文件里面。具体路径如下：NameContentJAVA_HOME的路径/usr/Mysoft/jdk1.8.0_141HADOOP_HOME的路径/Myhadoop/Hadoop-2.7.4/第一步： 打开profile文件第二步： 导入Hadoop根目录...原创 2019-04-06 10:25:59 · 4079 阅读 · 0 评论 -
修改yarn-site.xml配置文件
前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...原创 2019-04-05 22:22:29 · 19373 阅读 · 2 评论 -
修改mapred-site.xml配置文件
前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...原创 2019-04-04 21:33:30 · 16199 阅读 · 2 评论 -
修改hdfs-site.xml配置文件
前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...原创 2019-04-03 21:45:00 · 15119 阅读 · 3 评论 -
修改core-site.xml配置文件
前言配置Hadoop的主要5个文件序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的...原创 2019-04-02 20:44:37 · 37823 阅读 · 9 评论 -
修改hadoop-env.sh配置文件
前言：序号配置文件名配置对象主要内容1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等4...原创 2019-04-01 19:53:36 · 35081 阅读 · 6 评论 -
云计算数据平台-hadoop集群(汇总目录)
test原创 2019-03-22 22:05:42 · 7151 阅读 · 1 评论 -
安装Hadoop
5.2 安装Hadoop 本章节为安装Hadoop的具体操作 5.2.1 修改hadoop-env.sh配置文件（一） 5.2.2 修改core-site.xml配置文件（二） 5.2.3 修改hdfs-site.xml配置文件（三） 5.2.4 修改mapred-site.xml配置文件 (四) 5.2.5 修改yarn-site.xml配置文件（五）...原创 2019-03-29 20:41:22 · 1482 阅读 · 0 评论 -
Hadoop集群概念设计
Hadoop是什么什么是Hadoop集群Hadoop能做什么Hadoop是什么? Hadoop是一种分析和处理大数据的软件平台，是Appach的一个用Java语言所实现的开源软件的加框，在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。 Hadoop的框架最核心的设计就是：Hadoop Distributed File System,Hadoop（以下简称HDFS）和M...原创 2019-03-28 21:00:57 · 7786 阅读 · 2 评论 -
部分工具的使用方法(搭建Hadoop基础工具)
搭建Hadoop基础工具有PuTTY,FileZilla和JDK这三个工具4. 部分工具的使用方法 4.1 Putty使用方法 PuTTY is an SSH and telnet client, developed originally by Simon Tatham for the Windows platform. PuTTY is open source software t...原创 2019-03-25 18:03:37 · 776 阅读 · 0 评论 -
搭建Hadoop
第五章主要是搭建Hadoop的操作说明，本小节主要是叙述相关章节 5.1 Hadoop集群概念设计 5.2 安装Hadoop 5.2.1 修改hadoop-env.sh配置文件（一） 5.2.2 修改core-site.xml配置文件（二） 5.2.3 修改hdfs-site.xml配置文件（三） 5.2.4 修改mapred-site.xml配置文件 (四...原创 2019-03-27 19:36:12 · 859 阅读 · 0 评论 -
CentOS-7系统的基本配置
hadoop别名、节点名、主机名和IP地址映射关系表NamefunctionhostnameIP addressMasterNameNodehadoop001192.168.216.128Slave1DataNodehadoop002192.168.216.129Slave2DataNodehadoop003192.168.216.130...原创 2019-03-25 16:50:08 · 684 阅读 · 0 评论 -
安装JDK
（to be continued ）快速链接上一篇汇总目录下一篇 4.2 FileZilla使用方法云计算数据平台-hadoop集群 5.1 Hadoop集群概念设计原创 2019-03-26 20:52:03 · 842 阅读 · 0 评论 -
FileZilla使用方法
（to be continued ）快速链接上一篇汇总目录下一篇 4.1 Putty使用方法 云计算数据平台-hadoop集群 4.3 安装JDK原创 2019-03-25 18:26:28 · 2580 阅读 · 0 评论 -
PuTTY使用方法
（to be continued ）快速链接上一篇汇总目录下一篇 3.4 关闭CentOS-7防火墙 云计算数据平台-hadoop集群 4.2 FileZilla使用方法原创 2019-03-25 18:12:14 · 1929 阅读 · 0 评论 -
关闭CentOS-7防火墙
（to be continued ）快速链接上一篇汇总目录下一篇 3.3 修改CentOS-7的IP地址与主机名的映射关系 云计算数据平台-hadoop集群 4.1 Putty使用方法 ...原创 2019-03-25 17:47:38 · 838 阅读 · 0 评论 -
修改CentOS-7系统的主机名
（to be continued ）快速链接上一篇汇总目录下一篇3.1 修改CentOS-7系统的IP地址云计算数据平台-hadoop集群 3.3 修改CentOS-7的IP地址与主机名的映射关系 )...原创 2019-03-25 17:34:17 · 1013 阅读 · 0 评论 -
修改CentOS-7的IP地址与主机名的映射关系
（to be continued ）快速链接上一篇汇总目录下一篇 云计算数据平台-hadoop集群原创 2019-03-25 17:39:06 · 1543 阅读 · 0 评论 -
修改CentOS-7系统的IP地址
修改CentOS-7系统的IP地址：以192.168.216.129改成192.168.216.128为例第一步：查看CentOS-7的原始IP第二步：修改ifcfg-ens33文档的静态IP地址修改前：修改后：第三步：重启网卡第四步：检查...原创 2019-03-25 08:56:53 · 1323 阅读 · 0 评论 -
VMware 14安装 CentOS 7
前言所需的软件下载链接： VMwareWorkstationPro14.0.0 （以下简称VMware） CentOS-7-x86_64-DVD-1810.iso(以下简称CentOS-7)第一步： 安装VMware过程，本文不再细述.第二步： 新建虚拟机，典型（推荐）->安装程序光盘映像文件，选中下载好的centos7.iso第三步： 记住这虚拟机...原创 2019-03-22 20:51:58 · 707 阅读 · 0 评论