Blossom

准备工作jdk1.8环境的安装与配置：CentOS下安装和配置JDK1.8环境搭建过程中，需要使用到的文件以存放至/home/yitian/Desktop文件夹下，各文件的下载地址和配置安装方法，分别详细说明。scala2.10.6下载地址：http://www.scala-lang.org/download/2.10.6.html spark1.6.2下载地址：http://s...

准备工作安装SSH Server、配置集群节点间的相互SSH无密码登录 Linux（CentOS6.4）下Hadoop单机/集群的安装和配置注意：如果需要在Spark集群时，使用hadoop yarn的方式提交任务，则需要在集群中配置完成hadoop（yarn方式），详情见：CentOS6.4环境下Hadoop单机+集群的安装和配置中集群部分。Spark集群配置环境Linux主机两...

实验介绍我们知道对于一个网站的用户访问流量是不间断的，基于网站的访问日志，即WEB LOG的分析是经典的流式实时计算应用场景。比如百度统计，它可以做流量分析、来源分析、网站分析、转化分析。另外还有特定场景分析，比如安全分析，用来识别 CC 攻击、 SQL 注入分析、脱库等。这里我们简单实现一个类似于百度分析的系统。课程来源这里的课程来自于【实验楼课程】：流式实时日志分析系统——《Spa...