电商用户行为分析大数据平台相关系列1-环境介绍

博主分享了自己学习Spark的实践经验,通过搭建电商用户行为分析大数据平台进行系统学习。文章详细介绍了测试环境配置,包括3台虚机、Centos7操作系统及一系列相关软件如Hadoop、Hive、Zookeeper等的版本。后续博客将逐步介绍HADOOP到Spark的安装与数据分析流程。
摘要由CSDN通过智能技术生成

最近在自学Spark,看了一些书籍和视频,总是感觉无从下手。拿着一个想法总是无从下手。追其原因,主要是没有系统的学习和使用。对于IT,一切新技术都需要不断实践、不断动手。本着动手的原则,本人通过各种渠道找到一个电商用户行为分析平台,准备从头开始,跟着视频及文档从头完做起,直到完成该项目。
该系列博客主要记录自己的学习过程,顺带着当作笔记以供后续参考。如果有朋友看到该博客,觉得可以借鉴一些东西,也算是本人额外的收获。
本文主要介绍自己使用的软硬件情况。本人电脑16G内存,但是CPU是节能CPU,性能略差。具体环境如下:

  1. 测试环境,由3台虚机(Vmware),每台内存3G
  2. 操作系统:Centos7
  3. 软件:
    a、jdk1.7
    b、hadoop-2.5.0-cdh5.3.6
    c、hive-0.13.1-cdh5.3.6.tar
    d、scala-2.11.4
    e、zookeeper-3.4.5-cdh5.3.6
    f、kafka_2.9.2-0.8.1
    g、flume-ng-1.5.0-cdh5.3.6
    h、spark-1.5.1-bin-hadoop2.4

后续将陆续更新自己学习笔记,搭建部分只是按照先后顺序做了简单记录,如果大家有什么疑问,可以留言沟通或者直接百度。
再次申明,该系列只是本人学习过程记录,如果给大家造成什么困扰,请大家多多担待。

  1. 电商用户行为分析大数据平台相关系列1-环境介绍
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值