大数据环境搭建hadoop
对于一些想从事大数据工作的童鞋们,在自己的电脑搭建一个大数据环境是很有必要的,直接开始吧。
如何在自己的电脑搭建一个虚拟的集群环境:
1、安装虚拟机 (包括linux系统:笔者使用ubantu 16.04)
http://dblab.xmu.edu.cn/blog/2760-2/#more-2760
update:
虚拟机更新安装源仓库的时候,如果报错,参考解决:
https://blog.csdn.net/weixin_42467533/article/details/114472486
解决更新包无法连接的问题
2、安装hadoop2.X(伪分布式) 包括java环境
(笔者使用hadoop版本:2.7.7 java版本:1.8.0_162)
http://dblab.xmu.edu.cn/blog/install-hadoop/
3、安装hive(1.X) (笔者使用:apache-hive-1.2.2-bin.tar)