最近在自学Spark,看了一些书籍和视频,总是感觉无从下手。拿着一个想法总是无从下手。追其原因,主要是没有系统的学习和使用。对于IT,一切新技术都需要不断实践、不断动手。本着动手的原则,本人通过各种渠道找到一个电商用户行为分析平台,准备从头开始,跟着视频及文档从头完做起,直到完成该项目。
该系列博客主要记录自己的学习过程,顺带着当作笔记以供后续参考。如果有朋友看到该博客,觉得可以借鉴一些东西,也算是本人额外的收获。
本文主要介绍自己使用的软硬件情况。本人电脑16G内存,但是CPU是节能CPU,性能略差。具体环境如下:
- 测试环境,由3台虚机(Vmware),每台内存3G
- 操作系统:Centos7
- 软件:
a、jdk1.7
b、hadoop-2.5.0-cdh5.3.6
c、hive-0.13.1-cdh5.3.6.tar
d、scala-2.11.4
e、zookeeper-3.4.5-cdh5.3.6
f、kafka_2.9.2-0.8.1
g、flume-ng-1.5.0-cdh5.3.6
h、spark-1.5.1-bin-hadoop2.4
后续将陆续更新自己学习笔记,搭建部分只是按照先后顺序做了简单记录,如果大家有什么疑问,可以留言沟通或者直接百度。
再次申明,该系列只是本人学习过程记录,如果给大家造成什么困扰,请大家多多担待。