![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
老蒋的程序人生
区块链公司CTO,一个专注于区块链技术落地融合应用的排头兵。
展开
-
Spark-Lamda架构
日志分析 单机日志分析,适用于小数据量的。(最大10G),awk/grep/sort/join等都是日志分析的利器。 例子: 1、shell得到Nginx日志中访问量最高的前十个IP cat access.log.10 | awk '(a[$1]++) END (for(b in a) print b"\t"a[b])' | sort -k2 -转载 2016-10-09 20:16:03 · 385 阅读 · 0 评论 -
Spark-Spark Streaming例子整理(一)
(摘自王家林) 流(Streaming),在大数据时代为数据流处理,就像水流一样,是数据流;既然是数据流处理,就会想到数据的流入、数据的加工、数据的流出。 日常工作、生活中数据来源很多不同的地方。例如:工业时代的汽车制造、监控设备、工业设备会产生很多源数据;信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑客攻击、垃圾邮件、交通监控等;通信时代的手机、平板、智能设备、物联网等会转载 2016-10-09 21:16:07 · 1363 阅读 · 0 评论 -
Spark-Spark Streaming例子整理(二)
Spark Streaming从Flume Poll数据 一、Spark Streaming on Polling from Flume实战 二、Spark Streaming on Polling from Flume源码 第一部分: 推模式(Flume push SparkStreaming) VS 拉模式(SparkStreaming poll Flume)转载 2016-10-09 21:18:06 · 721 阅读 · 0 评论 -
Spark-Spark Streaming例子整理(三)
一、解密SparkStreaming另类在线实验 二、瞬间理解SparkStreaming本质 Spark源码定制,自己动手改进Spark源码,通常在电信、金融、教育、医疗、互联网等领域都有自己不同的业务,如果Sprak官方版本没有你需要的业务功能,你自己可以定制、扩展Spark的功能,满足公司的业务需要。 选择SparkStreaming框架源码研究、二次开发的原因 1、转载 2016-10-09 21:20:57 · 704 阅读 · 0 评论 -
Apache Spark:大数据处理统一引擎
工业和研究中数据的大幅增长为计算机科学带来了巨大的机会与挑战。由于数据大小超过了单台机器的能力,用户需要新的系统将计算扩展到多个节点。因此,针对不同计算工作负载的新集群编程模型已呈爆炸式增长。 图1 这些模型相对专业化。例如支持批处理的MapReduce,支持迭代图算法的Dreme。在开源Apache Hadoop堆栈中,类似Storm和Impa转载 2016-11-19 23:05:34 · 704 阅读 · 0 评论 -
Spark大型电商项目实战简介
目录 目录项目介绍模块介绍 用户访问session分析页面单跳转化率统计热门商品离线统计广告流量实时统计 环境介绍 项目介绍 本项目主要用于互联网电商企业中,使用Spark技术开发的大数据统计分析平台,对电商网站的各种用户行为(访问行为、购物行为、广告点击行为等)进行复杂的分析。用统计分析出来的数据,辅助公司中的PM(产品经理)、数据分析师以及管理人员分析转载 2017-05-09 10:58:47 · 479 阅读 · 0 评论 -
Spark实践-日志查询
环境 win 7 jdk 1.7.0_79 (Oracle Corporation) scala version 2.10.5 spark 1.6.1 详细配置: Spark Properties spark.app.id local-1461891171126 spark.app.name JavaLogQuery spark.driver.host 10.转载 2016-10-09 20:30:26 · 182 阅读 · 0 评论