2017/6/21更新 在安装完毕之后,请在 /usr/local/hadoop/hadoop-2.7.3 路径下创建logs文件夹并且改变权限为777
9-26重要更新:本文所有命令都来源于实机复制,可能在粘贴复制的过程中会出现未知的错误,所以请将命令全部手动输入,谢谢。
最近听了一个关于大数据的大牛的经验分享,在分享的最后大牛给我们一个他之前写好的关于大数据和地理应用demo。这个demo需要在Linux环境上搭建Hadoop平台。这次就简单的分享一下我关于在
Linux虚拟机上搭建Hadoop平台的一些经验和遇到的一些问题以及问题的解决办法。
首先我们这次搭建的环境是hadoop。hadoop实现了分布式文件系统,它可以部署在一些廉价的硬件环境上,并且提供了高吞吐量来访问应用程序的数据,非常适合那些有着大数据集的应用程序。而且最重要的是,hadoop是开源的。
这次我们将要在一台计算机(虚拟机)上安装我们的hadoop实验环境。如果你还没有安装虚拟机,请百度查看VMware workstations Pro 12的安装教程。如果你还没有在虚拟机中安装Linux操作系统,请百度在VMware下安装Ubuntu或者centos的教程。
安装的模式是单机模式和伪分布模式。单机模式是在hadoop解压缩之后默认选择的最精简模式,在这个模式中,core-site.xml ,hdfs-site.xml和hadoop-env.sh中的配置信息默认为空,在安装时需要我们自己去配置填写。伪分布模式就是hadoop运行在单集群上,这个模式比单机模式多了代码调试功能,并且启用了HDFS功能而且能够和几个守护进程进行交互
本文中安装的是Ubuntu16.04LTS+java 1.8.0_101+Hadoop 2.7.3
一、Linux上JAVA环境的安装
首先在Linux上安装hadoop之前我们需要了解,hadoop是基于java开发的一款程序。所以我们需要在安装hadoop之前保证我们的Linux上有java环境。下面我们就来介绍一些如何在Linux上安装java1.8.0_101。
在安装java之前我们需要检查系统中有没有安装java,使用java -version
命令来查看是否安装了java,如果安装了其他版本的java请在卸载之后安装java1.8.0。
首先我们需要在oracle官网上下载我们需要的JDK安装包,JDK就是Java De