专注于Scala语言、Hadoop及Spark大数据处理技术

摇摆少年梦的技术博客专注于Scala语言、Hadoop及Spark大数据处理技术RSS订阅只看原创排序:默认按更新时间按访问量原 Spark修炼之道(进阶篇)——Spark入门到精通:第十二节 Spark Streaming—— DStream Window操作作者:周志湖 微信号:zhouzhi...

2018-07-16 11:08:59

阅读数:28

评论数:0

Eclipse报错Project configuration is not up-to-date with pom.xml

Eclipse报错Project configuration is not up-to-date with pom.xml1.问题Description Resource Path Location Type Project configuration is not up-to-date with...

2018-05-21 13:52:42

阅读数:85

评论数:0

tomap 和tolist

cala> lst0.grouped(4)res228: Iterator[List[Int]] = non-empty iteratorscala> res228.toListres229: List[List[Int]] = List(List(1,...

2018-04-22 22:45:14

阅读数:76

评论数:0

查数据println(res171.map(_.toBuffer).toBuffer)

scala> scala> val rdd2 = sc.textFile("hdfs://centosnode1:9000/person.json")scala> rdd2.collectres1...

2018-04-22 21:49:28

阅读数:28

评论数:0

设置缓存

2018-04-22 19:42:34

阅读数:39

评论数:0

spark性能调优指南高级篇

spark性能调优指南高级篇转载 2018年04月20日 14:05:33标签:spark9前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优...

2018-04-22 18:31:06

阅读数:56

评论数:0

算子

http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.htmlmapPartitionsWithIndexval func = (index: Int, iter: Iterator[(Int)]) =&gt...

2018-04-22 17:38:49

阅读数:45

评论数:0

RDD方法

/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements.  See the NOTICE file distributed with * thi...

2018-04-22 13:42:43

阅读数:187

评论数:0

spark问题

【腾讯云】买域名送云解析+SSL证书+建站!>>>   摘要: 根据开发测试锁遇到的一些问题总结记录 注意:如果Driver写好了代码,eclipse或者程序上传后,没有开始处理数据,或者快速结束任务,也没有在控制台中打印错误,那么...

2018-04-21 21:27:34

阅读数:68

评论数:0

initial job has not accepted any resources的spark错误解决办法

initial job has not accepted any resources的spark错误解决办法原创 2016年03月04日 16:57:35标签:spark /多个程序 /同步提交1936在运行多个spark应用程序的时候,经常会出现initial job has not accep...

2018-04-21 19:42:54

阅读数:29

评论数:0

class"javax.servlet.ServletRegistration"'s signer information does notmatch signer information of ot

ERROR spark.SparkContext: Errorinitializing SparkContext.java.lang.SecurityException:class"javax.servlet.ServletRegistration"'s sig...

2018-04-21 19:30:10

阅读数:121

评论数:0

Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties18/04/21 19:05:26 INFO SparkContext: Running Spark version 1.6.2Except...

2018-04-21 19:10:26

阅读数:415

评论数:1

从MySQL中加载数据(Spark Shell方式)和 将数据写入到MySQL中(打jar包方式)

1. 数据源1.1. JDBCSpark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中。1.1.1. 从MySQL中加载数据(Spark Shell方式)1.启动Spark Shell,必须指定...

2018-04-21 17:36:58

阅读数:120

评论数:0

遇到的问题及解决思路

Spark on Yarn遇到的问题及解决思路 [复制链接]  pig21781主题2768帖子1万积分超级版主积分16951收听TA发消息电梯直达楼主 发表于 2014-10-8 00:05:11 | 只看该作者 |只看大图 about云hadoop日志分析问题导读1.Connection Re...

2018-04-19 23:48:25

阅读数:39

评论数:0

spark连接问题

18/04/19 23:27:58 INFO master.Master: Registering worker 192.168.72.143:41196 with 4 cores, 2.7 GB RAM18/04/19 23:28:00 INFO master.Master: Registeri...

2018-04-19 23:37:44

阅读数:151

评论数:2

apache-spark org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply in 120

apache-spark org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply in 120Ask Questionup vote2down votefavoriteI has configured a spark c...

2018-04-19 22:40:57

阅读数:68

评论数:0

Scala IDE for Eclipse 之spark scala语言开发环境搭建------遇到问题记录

 Scala IDE for Eclipse 之spark scala语言开发环境搭建------遇到问题记录2016年12月29日 19:37:551922人阅读 评论(0) 收藏 举报 分类:Spark(10) 版权声明:你好,欢迎来到我的博客。 https://blog.csdn.net/z...

2018-04-08 13:39:13

阅读数:29

评论数:0

debug和编译环境

2018-04-08 13:38:56

阅读数:20

评论数:0

eclipse.ini

-vmC:/Program Files (x86)/Java/jdk1.7.0_72/bin-startupplugins/org.eclipse.equinox.launcher_1.3.100.v20150511-1540.jar--launcher.libraryplugins/org.ec...

2018-04-08 13:38:51

阅读数:70

评论数:0

eclipse构建maven scala 项目 编译成功

eclipse构建maven scala 项目 编译成功原创 2016年07月05日 13:28:36标签:spark /scala8310一、安装eclipse scala插件系统:win7eclipse版本:Luna Release(4.4.0)maven是从EclipseMarket中安装的...

2018-04-08 13:38:45

阅读数:64

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭