Ubuntu中的Hadoop

Hadoop下载

Apache官网下载地址：http://hadoop.apache.org/releases.html

选binary

Hadoop安装

1.通过windows挂载硬盘将文件复制到Linux下。

2.然后解压Hadoop：tar -xvzf  hadoop.tar.gz

3.配置Hadoop系统参数：

sudo nano /etc/environment

内容如下：例

JAVA_HOME=/usr/soft/jdk1.8.0_151
HADOOP_INSTALL=/usr/soft/hadoop-3.0.0
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/soft/jdk1.8.0_151/bin:/usr/soft/hadoop-3.0.0/bin:/usr/soft/hadoop-3.0.0/sbin"

4.快速更新

source environment

5.查看版本

hadoop version

处理海量数据

1.存储

分布式文件系统：HDFS，Hadoop  distributed file system

2.运算

MapReduce，map() + reduce

Hadoop配置：

1.独立模式

2.伪分布式

ssh登陆远程主机，无口令提示

sudo apt-get install shh

ssh-keygen  -t  rsa  -P  ''  -f   ~/.ssh/id_rsa

cat  id_rsa.pub  >>  ~/.ssh/authorized_keys

ssh localhost //第一次yes

exit

ssh  localhost //第二次不需要口令

3.完全分布式

Hadoop使用：

参考：http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html