spark
文章平均质量分 59
smarthhl
大数据架构师
展开
-
spark之基础学习篇:load文件 — WordCount
本节主要讲解spark加载不同的文件格式的方法,并且从local模式和cluster模式进行说明。 1、加载txt文件 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 /** * txt格式:以空格分割 */ import org.apache.spark.{SparkContext, SparkConf} object转载 2016-01-19 13:45:01 · 2096 阅读 · 0 评论 -
hive on spark的安装及问题
配置hive hive-site hive.metastore.uris thrift://database:9083 hive.metastore.client.socket.timeout 600s--> 600 把hive-site.xml 放到spark/conf目录下 Mysql驱动放到spark/原创 2016-01-05 12:40:17 · 1101 阅读 · 0 评论 -
Window下spark开发环境搭建IDEA
Window下spark开发环境搭建IDEA 1、下载Idea 版本:14.1.3 2、安装scala插件 Ctrl+Alt+S-- > Plugins -- > Plugins -- > scala 安装,等待安装后 -- >Finish 重启Idea 3、新建Scala工程 选择本机的Jdk版本和scala版本,如果没有安装,请自行安装 4、配置工原创 2016-01-11 11:51:51 · 717 阅读 · 0 评论 -
Spark Streaming 的玫瑰与刺
前言 说人话:其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲,坑则是从实际场景中遇到的一些小细节描述。 玫瑰篇 玫瑰篇主要是说Spark Streaming的优势点。 玫瑰之代码复用 这主要得益于Spark的设计,以及平台的全面性。你写的流处理的代码可以很方便的适用于Spark平台上的批处理,交互式处理。因为他们本身都是基于RDD模型的,并且Spa原创 2016-01-15 11:02:08 · 949 阅读 · 0 评论 -
hive on spark的安装及问题
配置hive hive-site <property> <name>hive.metastore.uris</name> <value>thrift://database:9083</value> </property> <property> &l原创 2016-01-05 12:52:31 · 123 阅读 · 0 评论