大数据学习笔记1

Hadoop学习笔记

本文是关于在环境搭建过程中我个人遇到的问题的记录，所以并没有具体过程，过程大家可以自行在网上找，我也是在网上找的，并没有太大的区别。

1.版本问题

本人用的环境是：jdk1.8
hadoop 2.7.1
zookeeper 3.4.6
hbase 1.1.2

其中，hadoop1.x和2.x差别非常大，并不通用，因此1.x的教程对于2.x来说基本上完全没有参考价值，当然如果深入到框架和原理，那肯定是一脉相承的。

因为是实验环境，所以采用的版本都是最新的，工程中，据说1.x更加稳定一些。

hadoop2.7.1和zookeeper3.4.6只能支持hbase1.x，最通用的0.94版本会有问题，这点大家一定要注意。

如果使用以上环境，java版本需要大于1.7，否则会有问题的。

2.系统环境

本人在实验室用的三台真机搭建的完全分布式环境，分别是fedora22,fedora 22和ubuntu12，其中要注意的就是防火墙和ssh免登陆，第一步一定要关闭防火墙，不然会出现很奇怪的问题，没有截图～～～，其中fedora 22关闭防火墙比较麻烦，命令是:systemctl stop firewalld.service

关于ssh免登陆是指三台机子互相之前全部都是免登陆，类似全连通，这个很多教程都没有说清楚。

3.启动

启动顺序是先启动hadoop，然后启动zookeeper，最后启动hbase，这是因为zookeeper用来管理hadoop,hbase则需要使用zookeeper。

在hbase-env.sh中配置export HBASE_MANAGES_ZK=false，则表示不用自带的zookeeper，那么就需要自己手动先启动zookeeper,设置为true则使用自带的zookeeper

先写这么多吧，因为是回忆，慢慢来吧，还没有吃饭呢～～～