Spark
玖月启程
Go_coder,用代码将理想照进现实!
展开
-
IDEA本地执行 or 调试Spark Application的方法
1.背景: Spark是基于内存的分布式计算框架,在大数据时代应用广阔,同Hadoop一样,在写代码时一般都需要将jar部署到集群或者单节点上,这样可能会造成操作上的繁琐。对此,本人查找了一些方法,使得Spark或者Hadoop程序可以在本地IDE中执行(常见的java编写工具有Eclipse或者IntelliJ),2. 介绍:在直接运行中肯定报 “A master URL must be原创 2017-07-23 19:10:26 · 1263 阅读 · 0 评论 -
Spark Streaming java实现简单例子(一)
1. 背景:之前已经学习过Spark SQL的相关知识,现在开始对Spark的另一模块Streaming部分进行学习。首先是参考官网上的Demo进行样例的编写,但是发现代码有点问题,百度之后发现,在一处代码处发现问题,所以写此文。2. 介绍:一些博客上的 JavaDStream words = lines.flatMap(new FlatMapFunction(){ //如果是Scala,原创 2017-07-24 23:17:37 · 4270 阅读 · 1 评论 -
Apache CarbonData快速入门指南
How to Use it?CarbonData是由华为开发、开源并支持Apache Hadoop的列式存储文件格式,支持索引、压缩以及解编码等,其目的是为了实现同一份数据达到多种需求,而且能够实现更快的交互查询。 Follow the steps in CarbonData-Quick Start. Put the *.csv file into HDFS, like:cd carbon原创 2017-08-25 11:20:09 · 1440 阅读 · 1 评论