spark
送人玫瑰手留余香
这个作者很懒,什么都没留下…
展开
-
spark 单词统计
maven 项目 前提是装好hadoop集群和spark集群 并上传好文件到hdfs pom.xml 如下 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.a原创 2017-11-30 20:08:06 · 1139 阅读 · 0 评论 -
spark 统计线上日志ip分组统计
线上日志格式如下 每次访问都会记录ip,标记红色部分 获取某一行看看怎么解析 2017-12-01 09:57:11.970 [http-nio-8082-exec-2] INFO - com.fullshare.common.aop.ControllerAop [ 144] - 请求head:{content-type=applicat原创 2017-12-01 11:14:28 · 2024 阅读 · 0 评论 -
用scala 写spark程序
scala sdk下载地址 https://downloads.lightbend.com/scala/2.12.0/scala-2.12.0.zip scala eclipse 下载地址 http://downloads.typesafe.com/scalaide-pack/4.7.0-vfinal-oxygen-212-20170929/scala-SDK-4.7.0-vfinal-2.12原创 2017-12-01 11:31:09 · 2439 阅读 · 0 评论