idea远程调试 spark

spark 远端调试本地调试远端集群运行的spark项目,当spark项目在集群上报错,但是本地又查不出问题时,最好的方式就是调试一步一步跟踪代码。但是在集群上的代码又不能像本地一样的调试。那么就试试这个调试方法吧。远程调试spark其实就四步: * 第一步jar包拷贝到集群master节点。 ...

2017-12-25 22:18:10

阅读数:573

评论数:0

spark-概念

本文长篇介绍了spark基本概念和spark Streaming 、spark sql 请仔细阅读,红色标注的是我认为比较重要的运行环境基本概念Spark生态圈以Spark Core为核心,从HDFS、Amazon S3和HBase等持久层读取数据,以MESS、YARN和自身携带的Standal...

2016-12-18 17:13:53

阅读数:632

评论数:0

学习 spark 的一些疑问

1. SparkSession和sqlContext 的关系?在Spark的早期版本,sparkContext是进入Spark的切入点。我们都知道RDD是Spark中重要的API,然而它的创建和操作得使用sparkContext提供的API;对于RDD之外的其他东西,我们需要使用其他的Contex...

2016-12-18 16:32:38

阅读数:461

评论数:0

sparkStreaming集成Kafka

这几天看了spark集成Kafka,消费Kafka数据并向Kafka发送数据,仿照官方样例写了两个小例子。在此分享一下。 1.添加Kafka的repository 2.DirectKafkaWordCountDemo代码展示 3.kafkaProducer代码展示 4.从Kafka 集群中消费数据...

2016-12-08 22:48:18

阅读数:3956

评论数:0

spark整合kafka打包运行错误处理

问题1WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Exception in thread &...

2016-12-01 16:17:51

阅读数:1828

评论数:0

SparkSQLDemo初尝--SparkSession链接数据库

本例子通过spark sql 链接其他数据库。对数据库的信息进行操作。过滤。代码时刻:首先是main 方法,创建SparkSession实例。 def main(args: Array[String]) { val sparkConf = new SparkConf().setAppNam...

2016-11-25 00:16:21

阅读数:4556

评论数:0

sparkStreaming初尝--scala链接mysql分析

本例子是我初尝 spark 的sparkStreaming官方小例子修改的。我的思路是使用jdbc 链接数据库,然后查询数据库,将查询结果生成一个RDD ,放入RDD queue,然后每次取出rdd 进行计算和过滤处理。本文结构如下: 1.sparkStreamingDemo 2.scala 链接...

2016-11-23 23:34:28

阅读数:3175

评论数:0

spark开发环境搭建(基于idea 和maven)

使用idea构建maven 管理的spark项目 ,默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步: scala插件的安装 全局JDK和Library的设置 配置全局的Scala SDK 新建maven项目 属于你...

2016-11-22 00:26:56

阅读数:21606

评论数:5

Spark进阶体验

本章节通过spark-shell进入我们的单机spark的终端进行一些简单的运算。 本节内容如下 新建RDD 进行乘法操作 新建RDD 进行过滤操作 编写wordCount小例子 union的使用 groupByKey join reduce lookup 首先安装和启动spark,此部分请参照...

2016-11-19 17:32:16

阅读数:1601

评论数:0

spark 安装单机版和集群

本文介绍安装mac单机版的spark,和spark 集群安装 分以下步骤 安装scala 下载spark 压缩包并解压 修改spark的配置文件 配置环境变量 验证安装情况 安装Scala mac安装scala教程 下载spark压缩包并解压 到官网下载spark的...

2016-11-18 10:38:59

阅读数:4002

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭