本项目是基于Spark MLLib的大数据电商推荐系统项目,使用了scala语言和java语言。基于python语言的推荐系统项目会另外写一篇博客。在阅读本博客以前,需要有以下基础:
1.linux的基本命令
2.至少有高中及以上的数学基础。
3.至少有java se基础,会scala语言和Java EE更佳(Jave EE非必需,但是可以帮助你更快理解项目的架构)。
4.有github账户,并且至少知道git clone,fork,branch的概念。
5.有网络基础,至少知道服务器端和客户端的区别。
6.有大数据基础,最好会Hadoop,HDFS,MapReduce,Sqoop,HBase,Hive,Spark,Storm。
7.有mysql数据库基础,至少会最基本的增删改查。
你要是大神,估计看这篇博客也没有任何用处,至少给点意见和建议呗!
PC配置要求
1.CPU:主流CPU即可
2.内存RAM:至少8G,推荐16G及以上,32G不浪费。
3.硬盘:由于VM对I/O流读取速度要求高,推荐使用256G及以上固态硬盘(SATA3即可.NVME更好),系统盘需要60-100G,其余的专门划一个盘用于安装虚拟机。或者采用傲腾内存+机械硬盘的方案。
关于傲腾内存的介绍和装机方法
https://product.pconline.com.cn/itbk/diy/memory/1806/11365945.html
4.GPU显卡;无要求。但是如果你想学习深度学习框架的话,可考虑1060 6g甚至是2080TI。
5.网速:CentOS 8GB多,HDP接近7个G,CDH几个包加起来2.5G。自己算算需要下载多长时间,或者考虑用U盘从别人那里拷贝?
你也可以考虑用阿里云,腾讯云等云主机。
步骤一:
搭建CentOS+HDP的环境,或者CentOS+CDH的环境,这些都是开源的,不用担心版权问题,企业上一般也是用这两种方案。
在这里我采用的是CentOS+HDP的方案
大数据之搭建HDP环境,以三个节点为例(上——部署主节点以及服务)
https://blog.51cto.com/6989066/2173573
大数据之搭建HDP环境,以三个节点为例(下——扩展节点,删除节点,以及部署其他服务)
https://blog.51cto.com