spark
陈府才俊
大道至简,知易行难
展开
-
Spark2.1.1Idea配置
Spark环境配置(Spark+Sbt+IntelliIntelliJ+Mac) 我的部署需求 spark-2.1.1 (2017年5月24日的最新版本) scala 2.11.7 (此时最新版本是scala 2.12,但是官网指出spark-2.1.1只能兼容scala 2.11.*) java 1.8.0_121 Spark本地模式的安装和一些环境变量的设置可参考Spark mac下Spa原创 2017-05-24 17:13:58 · 2725 阅读 · 0 评论 -
SparkStreaming项目实战系列——1.实时流概述
SparkStreaming项目实战系列——实时流概述 Spark官网关于Spark2.2.0需要以下条件: maven3.3.9+ Java8+ Spark2.2.0 1.初识实时流处理1.1业务现状分析 需求:统计主站每个(制定)课程访问的客户端、地域信息分布 地域:ip转换 SparkSQL项目实战 客户端:useragent获取 Hadoo原创 2017-12-29 20:54:54 · 1307 阅读 · 3 评论 -
SparkStreaming项目实战系列——2.分布式日志收集框架Flume
2.分布式日志收集框架Flume2.1业务现状分析原创 2017-12-29 21:03:47 · 391 阅读 · 0 评论