- 博客(5)
- 资源 (4)
- 收藏
- 关注
转载 how to deal with error SPARK-5063 in spark
3down votefavorite1I get the error message SPARK-5063 in the line of printlnval d.foreach{x=> for(i<-0 until x.length) println(m.lookup(x(i)))} d is RDD[Array[String]
2015-10-30 00:07:32 3466
转载 使用Spark读写CSV格式文件
CSV格式的文件也称为逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号。在本文中的CSV格式的数据就不是简单的逗号分割的),其文件以纯文本形式存表格数据(数字和文本)。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段
2015-10-24 09:43:17 47227
转载 spark-submit命令行设置
1.5.1OverviewProgramming GuidesQuick StartSpark Programming GuideSpark StreamingDataFrames and SQLMLlib (Machine Learning)GraphX (Graph Processing)Bagel (Pregel on Spark)SparkR (R on Spark)
2015-10-24 09:26:54 5757
转载 Spark out of memory相关问题
1.Spark OOM:java heap space,OOM:GC overhead limit exceeded解决方法1.1问题描述:在使用spark过程中,有时会因为数据增大,而出现下面两种错误:java.lang.OutOfMemoryError: Java heap spacejava.lang.OutOfMemoryError:GC overhead limi
2015-10-23 21:56:07 3206
转载 新浪微博的JSON解析
REF:http://blog.csdn.net/zingck/article/details/7408033首先先看一下新浪微博目前的JSON的结构{ "statuses": [ { //位置1 "created_at": "Tue May 31 17:46:55 +0800 2011", // 位置2 "id"
2015-10-07 20:34:21 3135
ansj_seg-2.0.8.jar
2015-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人