课程实验准备
一定要关闭防火墙
正常运行的时候 需要访问很多端口 所以会出现很多的错误。
首先来安装JDK
到官网下载:
可以通过链接直接下载
解压以后可以放到
/usr/java/
配置免密码登陆
就是将各自的密钥拷贝到目录中。
SSH的原理
简单说,SSH是一种网络协议,用于计算机之间的加密登录。
如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是安全的,即使被中途截获,密码也不会泄露。
最早的时候,互联网通信都是明文通信,一旦被截获,内容就暴露无疑。1995年,芬兰学者Tatu Ylonen设计了SSH协议,将登录信息全部加密,成为互联网安全的一个基本解决方案,迅速在全世界获得推广,目前已经成为Linux系统的标准配置。有公钥和私钥之分。
(RSA算法)
- 对称加密(也称为秘钥加密)
- 非对称加密(也称公钥加密)
一般SSH原理
免密码登陆
准备安装Hadoop
能查看的当前的可获得的 包。
wget http:// 直接下载包
scp ./hadoop/xxx panpan@123.123.123.123
tar -zvf xxxx
配置文件:
hadoop-env.sh //更改java_home 告诉哪里可以找到java
core-site.xml
名称节点:
临时目录:一定要配置,虽然系统可以创建缺省的目录 但是一旦重启 就完蛋 了
hdfs-site.xml
dfs复制因子:备份
mapred-site.xml
监听地址和端口
分别建立:
master :放主节点
slaves :放数据节点
/etc/host //配置域名的解析地址 ip对应
//能够ping的通
iptables 查看一下 防火墙关闭没有
service iptables stop
bin/hadoop name-node format
bin/start-all.sh
实际上 自己连自己也是要密码的
jps:java进程状态统计
完全分布式模式的安装和配置
Hadoop 2.x安装
修改配置文件
1.
hadoop-env.sh //java_home
2.
yarn-env.sh //java_home
3.
slaves
4.
core-site.xml
5.
hdfs-site.xml
6.
mapred-site.xml
7.
yarn-site.xml
启动集群及检验
实际上2.x和1.x就体现出来相应的差别了,sbin etc 越来越像是一个操作系统了。
libhadoop.so.1.0.0在64位的问题
本地库 如果没有装载或者有错,用了本地库之后 是有位数的。
file xxxxx //查看版本信息 发现其是32位的 所以坑
解决方法:
路径 找不到 只会警告
最终解决方法:重新编译hadoop 使本地包变成64位
安装与编译有关的包(基于Centos)
当然 不同的平台 编译的方法是不同的。
首先 装好这几个软件
svn:源码部署的软件 简化部署的操作
安装Maven
可以简化我们编译的工作,写在一个文档中,工作就自动去完成了。
下载和安装
安装protobuf
用于数据交换的软件。
./configure:检查一下 内核啊 版本啊
make:编译
最后:如果在
/usr/local/bin 看到有 protoc 这个文件 说明我们就成功了
并且查看 环境变量有没有:/usr/local/bin
没有的话添加上
获取Hadoop程序的源代码
换成自己的版本号。
发现自己多了一个文件夹 :release-xxx
重新编译本地库
native:使用本地库进行编译
这个就是自己下载好的编译好的64位的。这时候 查看一下版本信息,就是64位的了。