Spark
IU菜籽U
当你发现自己的才华撑不起野心时,就请安静下来学习吧
展开
-
Spark技术文档---不错的博文
http://tech.meituan.com/原创 2016-07-11 11:18:20 · 588 阅读 · 0 评论 -
spark1.6.0集群安装
转载:1. 概述本文是对spark1.6.0分布式集群的安装的一个详细说明,旨在帮助相关人员按照本说明能够快速搭建并使用Spark集群。 2. 安装环境本安装说明的示例环境部署如下:IP外网IPhostname备注10.47.110.38120.27.153.137转载 2017-07-05 20:26:40 · 828 阅读 · 0 评论 -
Spark性能相关参数配置
Spark性能相关参数配置http://spark-config.readthedocs.org/原创 2017-08-16 10:19:55 · 215 阅读 · 0 评论 -
eclipse+Scala+Maven安装
转载:http://blog.csdn.net/u010376788/article/details/50863823 谢谢博主!!!1.安装Maven第一步,在Apache官网下载maven:http://maven.apache.org/download.cgi第二步,解压maven压缩包,配置环境变量:[plain] view plain cop转载 2017-08-16 22:43:24 · 1047 阅读 · 0 评论 -
Kafka+Spark Streaming+Redis实时计算整合实践
http://shiyanjun.cn/archives/1097.html原创 2017-08-17 13:23:29 · 1569 阅读 · 0 评论 -
Scala--高阶函数详细介绍
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://lqding.blog.51cto.com/9123978/1741885高阶函数主要有两种:一、将一个函数当做另外一个函数的参数(即函数参数)普通函数的定义语法如下:1def funName(pa转载 2017-08-11 15:31:32 · 2739 阅读 · 0 评论 -
在windows上使用eclipse提交Spark任务到Spark平台上
转载:http://blog.csdn.net/star535x/article/details/52691477在windows上使用eclipse提交Spark任务到Spark平台上平台环境:本地win7系统本地spark和集群spark都是2.0.0eclipse(luna)运行模式:localSpark StandaloneYARN程序代转载 2017-08-24 13:55:31 · 922 阅读 · 0 评论 -
sparkStreaming连接数据库(mysql)
通过SparkStreaming读取mysql数据库表数据jon另一张表SparkConf conf = new SparkConf().setAppName("JDBCDataSource").setMaster("local");JavaSparkContext sc = new JavaSparkContext(conf);@SuppressWarnings("depreca原创 2017-09-08 11:17:35 · 5898 阅读 · 1 评论 -
Exception: Java gateway process exited before sending the driver its port number
如图:打开Spyder进行验证(若无安装Anaconda,用Python自带的IDLE或其他的python编辑工具都行) 注意setAppName、setMaster中千万不要带空格,否则会出现“Java gateway process exited before sending the driver its port number”的报错。之前就因为这个一直报错,网上原创 2017-12-18 16:46:28 · 7053 阅读 · 0 评论