hadoop入门七（搭建环境）

课程实验准备

一定要关闭防火墙
正常运行的时候 需要访问很多端口 所以会出现很多的错误。

首先来安装JDK

到官网下载：


可以通过链接直接下载
解压以后可以放到

/usr/java/

配置免密码登陆

就是将各自的密钥拷贝到目录中。

SSH的原理

简单说，SSH是一种网络协议，用于计算机之间的加密登录。
如果一个用户从本地计算机，使用SSH协议登录另一台远程计算机，我们就可以认为，这种登录是安全的，即使被中途截获，密码也不会泄露。
最早的时候，互联网通信都是明文通信，一旦被截获，内容就暴露无疑。1995年，芬兰学者Tatu Ylonen设计了SSH协议，将登录信息全部加密，成为互联网安全的一个基本解决方案，迅速在全世界获得推广，目前已经成为Linux系统的标准配置。有公钥和私钥之分。
（RSA算法）

1. 对称加密（也称为秘钥加密）
2. 非对称加密（也称公钥加密）

一般SSH原理

免密码登陆

准备安装Hadoop

能查看的当前的可获得的 包。

wget http:// 直接下载包

scp ./hadoop/xxx  panpan@123.123.123.123

tar -zvf xxxx

配置文件：

hadoop-env.sh  //更改java_home 告诉哪里可以找到java

core-site.xml

名称节点：
临时目录：一定要配置，虽然系统可以创建缺省的目录 但是一旦重启 就完蛋 了

hdfs-site.xml

dfs复制因子：备份

mapred-site.xml

监听地址和端口

分别建立：
master ：放主节点
slaves ：放数据节点
/etc/host //配置域名的解析地址 ip对应
//能够ping的通

iptables 查看一下 防火墙关闭没有
service iptables stop

bin/hadoop name-node format 

bin/start-all.sh

实际上 自己连自己也是要密码的
jps:java进程状态统计

完全分布式模式的安装和配置

Hadoop 2.x安装

修改配置文件

1.

hadoop-env.sh //java_home

2.

yarn-env.sh //java_home

3.

slaves

4.

core-site.xml

5.

hdfs-site.xml

6.

mapred-site.xml

7.

yarn-site.xml

启动集群及检验

实际上2.x和1.x就体现出来相应的差别了，sbin etc 越来越像是一个操作系统了。

libhadoop.so.1.0.0在64位的问题

本地库 如果没有装载或者有错，用了本地库之后 是有位数的。

file xxxxx  //查看版本信息 发现其是32位的  所以坑

解决方法：

路径 找不到 只会警告
最终解决方法：重新编译hadoop 使本地包变成64位

安装与编译有关的包（基于Centos）

当然 不同的平台 编译的方法是不同的。
首先 装好这几个软件
svn:源码部署的软件 简化部署的操作

安装Maven

可以简化我们编译的工作，写在一个文档中，工作就自动去完成了。

下载和安装

安装protobuf

用于数据交换的软件。

./configure:检查一下 内核啊 版本啊
make:编译
最后：如果在

/usr/local/bin 看到有 protoc 这个文件  说明我们就成功了
并且查看 环境变量有没有：/usr/local/bin
没有的话添加上

获取Hadoop程序的源代码

换成自己的版本号。
发现自己多了一个文件夹 ：release-xxx

重新编译本地库

native:使用本地库进行编译

这个就是自己下载好的编译好的64位的。这时候 查看一下版本信息，就是64位的了。

Hello world