虚拟机安装

一。安装VMvare软件。

二。安装ubuntu步骤：

ubuntu-16.04-desktop-amd64.iso

 

补充一下，如果不需要交互进行，就用-f选项，表示强制删除，不用进一步确认了
对于普通文件使用
sudo rm -f filename
对于目录使用
sudo rm -fr dirname

 

1.创建虚拟机

 

2.

 

 

3.

用户全名：lsj123,用户名+密码：lsj123

取名root是不可以的，因为root账号是系统默认的。

 

4.

下一步下一步

5.安装中：

 

6.

 

 

7.安装成功

 

 

 

插曲：Ubuntu 系统的U盘挂载.

网上有教程挂载U盘，但是失败了。

主要指令步骤如下：

1: sudo fdisk -l; //显示U盘位置信息等等

2: # mount  -t vfat /dev/sdb1 /media/u   //用mount 挂载指令，从/dev/sdb1   挂载到文件夹 /media/u.  这里根据实际情况变换文件夹名字，所以路径也改变

3:cd /media/u     //访问U盘

4：查看 ls

我的是失败的。

 

三：Hadoop安装

 

 

 

四：JDK安装

1.先在usr目录下面创建jdk文件夹

2.复制jdk到usr/jdk/下面：

sudo mv  /media/lsj123/XXXXXXX. jdk在U盘中的路径   到  /usr/jdk

sudo mv  /从哪里/ /到哪里/

3. ls 查看

 

4.解压安装jdk：

指令： sudo tar zxvf  FileName.tar.gz    或者：sudo tar zcvf tar zxvf FileName.tar.gz DirName  

 

5.配置环境变量

[环境变量的配置有三种方式：]

1.$sudo gedit ~/.bashrc

2.$ source ~/.profile

3. 【先切换到etc  目录：  cd etc    ;   sudo gedit environment  】sudo gedit environment

添加：

 

切记：source  Eenvironment才能生效

7.

检验是否安装成功
在终端输入如下命令
java -version

 

 

 

问题1：hadoop账号不能使用lsj123账号下面的jdk

问题2：lsj123账号下面不能查看jdkd java_home 路径

 

2017.5.4 重新安装hadoop  

1.解压hadoop   tar -xvzf  XXXXX

2.配置环境变量：

第一步： [去environment 配置]

第二步

sudo gedit /etc/profile 里面配置

source /etc/profile

【JAVA_HOME=

HADOOP_HOM=

PATH=

 

】

source /etc/profile

 

五。伪分布式配置

1.Hadoop 的配置文件位于 /usr/soft/hadoop-2.7.3/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，将当中的

 

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/soft/hadoop-2.7.3/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

修改配置文件 hdfs-site.xml：

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/usr/soft/hadoop-2.7.3/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/usr/soft/hadoop-2.7.3/tmp/dfs/data</value>

</property>

</configuration>

2.配置完成后，执行 NameNode 的格式化（第一次配置格式化。以后不要多次，会出问题的）:

./bin/hdfs namenode -format

配置成功：

 

 

3.接着开启 NameNode 和 DataNode 守护进程

./sbin/start-all.sh  

4.通过jps查看启动的Hadoop进程

 

 

 

 

 

4.通过jps查看启动的Hadoop进程

 

 

 

 

五。安装成功，运行wordcount程序

 

1.lsj123@ubuntu:~$ cd /usr/soft/

2.lsj123@ubuntu:/usr/soft$ cd hadoop-2.7.3

3.

lsj123@ubuntu:/usr/soft/hadoop-2.7.3$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

 

错误总结：前面不能运行自带的wordcout ,\

第一，没有正确找对jar包路径

第二。./bin/hadoop 指令不对

第三： 应该先建立一个input文件夹，文件夹里面的文件放东西。

 

4.运行过程

 

 

 

 

5.去根目录下面查看统计结果。

 

<http://www.wassenaar.org/> 1

Administration 1

Apache 1

BEFORE 1

BIS 1

Bureau 1

Commerce, 1

Commodity 1

Control 1

Core 1

Department 1

ENC 1

Exception 1

Export 2

For 1

Foundation 1

Government 1

Hadoop 1

Hadoop, 1

Industry 1

Jetty 1

License 1

Number 1

Regulations, 1

SSL 1

Section 1

Security 1

See 1

Software 2

Technology 1

The 4

This 1

U.S. 1

Unrestricted 1

about 1

algorithms. 1

and 6

and/or 1

another 1

any 1

as 1

asymmetric 1

at: 2

both 1

by 1

check 1

classified 1

code 1

code. 1

concerning 1

country 1

country's 1

country, 1

cryptographic 3

currently 1

details 1

distribution 2

eligible 1

encryption 3

exception 1

export 1

following 1

for 3

form 1

from 1

functions 1

has 1

have 1

http://hadoop.apache.org/core/ 1

http://wiki.apache.org/hadoop/ 1

if 1

import, 2

in 1

included 1

includes 2

information 2

information. 1

is 1

it 1

latest 1

laws, 1

libraries 1

makes 1

manner 1

may 1

more 2

mortbay.org. 1

object 1

of 5

on 2

or 2

our 2

performing 1

permitted. 1

please 2

policies 1

possession, 2

project 1

provides 1

re-export 2

regulations 1

reside 1

restrictions 1

security 1

see 1

software 2

software, 2

software. 2

software: 1

source 1

the 8

this 3

to 2

under 1

use, 2

uses 1

using 2

visit 1

website 1

which 2

wiki, 1

with 1

written 1

you 1

your 1

 

 

6.验证一

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

7.验证二

运行Hadoop伪分布式实例

创建目录：./bin/hdfs dfs -mkdir /input    都要加/  才行

复制到目录  ./bin/hdfs dfs -put ./etc/hadoop/*.xml  /input

00001. 查看目录： ./bin/hdfs dfs -ls /input

00002. 运行实例：

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep /input /output 'dfs[a-z.]+'