Hadoop安装教程方式

本次教程首先介绍的是根据个人经验来安装hadoop环境，其次是林子雨老师Hadoop安装教程方式，大家可以自行选择其中一种方式来进行安装。另外，还附送根据个人经验进行虚拟机磁盘扩容，可以说是痛苦经历吧！

个人安装hadoop快捷方式：

前期准备：virtualbox 虚拟机 下载好的hadoop-2.10.0.tar.gz压缩包
1.安装增强功能
2.设置共享文件夹，因为有时候双向拷贝功能不能使用
3.执行 sudo apt-get update 更新程序
4.执行 sudo apt-get install synaptic 安装新立得软件管理器
5.执行sudo synaptic ,启动新立得软件管理器，查询openjdk,根据操作系统不同，可选 openjdk9或者11
6.执行 sudo apt-get install ssh
7.执行 update-alternatives --display java 获取jdk安装目录
8.执行 gedit ~/.bashrc ,增加

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64/(此处根据自己得电脑设置，即第7步输出结果)
export PATH=$JAV{A}_{H}OME/bin:$PATH
，然后！！！！保存，关闭！！！！
另外，gedit 可以换成 mousepad vim vi等
9.执行source ~/.bashrc 使第8步得设置生效,这一步一定要执行！！！！！
10.验证：java -version 是有输出得，说明安装设置正确
11.解压hadoop 压缩包
sudo tar -zxf /目录路径/hadoop-3.1.3.tar.gz -C /usr/local
12. 设置无密码登录
此处可以参考林子雨老师的网页http://dblab.xmu.edu.cn/blog/2441-2/
大家不需要另外设置账号hadoop也可以
ssh localhost，然后有提示，根据提示操作，完成之后
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
13.编辑/usr/local/hadoop-3.1.3/etc/hadoop/hadoop-env.sh (大家要找到自己的安装路径)
找到# export JAVA_HOME= 一行，先去掉井号，然后设置为与~/.bashrc一致，即
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 (=号两侧不要有空格)
14. 执行./bin/hadoop version会输出hadoop 版本号

伪分布配置验证
此处可以参考林子雨老师的网页http://dblab.xmu.edu.cn/blog/2441-2/
15.执行gedit ./etc/hadoop/core-site.xml 编辑，在 之间添加如下

hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000

16.执行gedit ./etc/hadoop/core-site.xml 编辑，在 之间添加如下


dfs.replication
1


dfs.namenode.name.dir
file:/usr/local/hadoop/tmp/dfs/name


dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data

17.执行./bin/hdfs namenode -format,名称节点格式化，会有提示格式化成功
18.执行./sbin/start-all.sh启动hadoop
19.等待启动完成，执行jps
查看是否 namenode datanode secondarynamenode 全部启动
如果全部启动，则hadoop 配置完成。
下边进行hadoop shell 编程
可以参考林子雨老师的资料http://dblab.xmu.edu.cn/blog/2460-2/

1. 显示文件夹 ./bin/hdfs dfs -ls -R / 此时，应该没有输出
2. 建立文件夹 ./bin/hdfs dfs -mkdir /user
3. 再次执行 ./bin/hdfs dfs -ls / 可以看到有文件夹user
4. 向hdoop 里边存放资料，./bin/hdfs dfs -put
   取资料，./bin/hdfs dfs -get
   查看文档 ./bin/hdfs dfs -cat
   **

扩容磁盘

参考地址：
https://blog.csdn.net/orange_612/article/details/79597905?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-2&spm=1001.2101.3001.4242

1确定镜像文件地址
E:\Ubuntu虚拟机\lyh\lyh.vdi

Virtual box安装地址
E:\Program Files\Oracle\VirtualBox

2扩容命令
Ubuntu下，下载gparted，可视化操作硬盘分区，感觉蛮好的，嗯



VBoxManage modifyhd “E:\Ubuntu虚拟机\lyh\lyh.vdi” --resize 61440【要扩的大小（单位兆）】


安装eclipse : http://dblab.xmu.edu.cn/blog/631-2/

Ubuntu移动文件时权限不够解决方法：
在终端输入 sudo nautilus
会弹出一个不具有权限的文件管理器，就可以移动了

林子雨老师Hadoop安装教程方式

http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04)
Hadoop安装文件，可以到Hadoop官网下载，也可以点击这里从百度云盘下载https://pan.baidu.com/s/1mUR3M2U_lbdBzyV_p85eSA#list/path=%2F（提取码：99bg），进入该百度云盘链接后，找到Hadoop安装文件hadoop-2.7.1.tar.gz（本教程也可以用于安装Hadoop 2.7.1版本）
环境
本教程使用 Ubuntu 14.04 64位 作为系统环境（Ubuntu 12.04，Ubuntu16.04 也行，32位、64位均可），请自行安装系统（可参考使用VirtualBox安装Ubuntu）。
http://dblab.xmu.edu.cn/blog/337-2/

装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做一些必备工作。
创建hadoop用户如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。
首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :
1.sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。
sudo命令
本文中会大量使用到sudo命令。sudo是ubuntu中一种权限管理机制，管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。当使用sudo命令时，就需要输入您当前用户的密码.
Ubuntu终端复制粘贴快捷键
在Ubuntu终端窗口中，复制粘贴的快捷键需要加上 shift，即粘贴是 ctrl+shift+v。
接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：
1.sudo passwd hadoop
Shell 命令
可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：
1.sudo adduser hadoop sudo
Shell 命令
最后注销当前用户（点击屏幕右上角的齿轮，选择注销），返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。
更新apt
用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下命令：
1.sudo apt-get update

若出现如下 “Hash校验和不符” 的提示，可通过更改软件源来解决。若没有该问题，则不需要更改。从软件源下载某些软件的过程中，可能由于网络方面的原因出现没法下载的情况，那么建议更改软件源。在学习Hadoop过程中，即使出现“Hash校验和不符”的提示，也不会影响Hadoop的安装。

后续需要更改一些配置文件，我比较喜欢用的是 vim（vi增强版，基本用法相同），建议安装一下（如果你实在还不会用 vi/vim 的，请将后面用到 vim 的地方改为 gedit，这样可以使用文本编辑器进行修改，并且每次文件更改完成后请关闭整个 gedit 程序，否则会占用终端）：

sudo apt-get install vim

安装软件时若需要确认，在提示处输入 y 即可

vim的常用模式

常用模式有分为命令模式，插入模式，可视模式，正常模式。本教程中，只需要用到正常模式和插入模式。二者间的切换即可以帮助你完成本指南的学习。
1.正常模式
正常模式主要用来浏览文本内容。一开始打开vim都是正常模式。在任何模式下按下Esc键就可以返回正常模式
2.插入编辑模式
插入编辑模式则用来向文本中添加内容的。在正常模式下，输入i键即可进入插入编辑模式
3.退出vim
如果有利用vim修改任何的文本，一定要记得保存