spark
文章平均质量分 78
JokerCao
这个作者很懒,什么都没留下…
展开
-
centos6.4+hadoop2.2.0 spark伪伪分布式安装
hadoop版本是2.2.0的稳定版本 下载地址spark版本:spark-0.9.1-bin-hadoop2 下载地址http://spark.apache.org/downloads.html这里的spark有三个版本: For Hadoop 1 (HDP1, CDH3): find an Apache mirror or direct file download原创 2014-05-21 11:35:16 · 2204 阅读 · 0 评论 -
spark sql 访问hive数据时找不mysql的解决方法
1现象:错误如下:org.apache.hadoop.hive.ql.metadata.HiveException: Unable to fetch table SOGOUQ1 at org.apache.hadoop.hive.ql.metadata.Hive.getTable(Hive.java:958) at org.apache.hadoop.hiv原创 2014-08-14 18:07:17 · 4767 阅读 · 0 评论 -
spark 1.0.1 worker启动失败:at java.lang.ClassLoader.loadClass(libgcj.so.10)
错误现象:下面是控制台的错误:原创 2014-08-14 13:49:32 · 7253 阅读 · 0 评论 -
sparkPi在yarn模式下运行
编写运行脚本原创 2014-07-29 18:19:57 · 3667 阅读 · 0 评论 -
spark on yarn 能输出结果 但出现AssertionError
今天在spark1.0.1上面自己写了一个javawordcount 然后打成jar包 提交到yarn上面执行:运行到最后可以在hadoop的stdout里边看到正常的结果输出hadoop: 1: 1hello: 32.2.0: 1world: 1复制代码但是在stderr里边出现in 4.089 s14/08/05 13:原创 2014-08-05 14:16:54 · 5428 阅读 · 0 评论 -
spark启动master时提示端口8080被占用SelectChannelConnector@0.0.0.0:8080: java.net.BindException
在root权限下通过命令netstat -apn | grep 8080原创 2014-07-10 14:52:16 · 35838 阅读 · 2 评论 -
spark 1.0 在hadoop-2.0.0-cdh4.2.0上面安装成功
因为我的hadoop版本是cdh发行的4.2.0所以我直接在spark官网上下载了spark1.0 for hadoop cdh 4.2.0下载地址如下:http://spark.apache.org/downloads.html http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-cdh4.tgz下载完解压到hadoop目原创 2014-07-10 18:10:38 · 12355 阅读 · 0 评论 -
spark java api通过run as java application运行的方法
先上代码:这是spark 自带的一个example 之前只能将代码达成jar包然后在spark的bin目录下面通过spark-class来运行,这样我们就没办法将spark的程序你很好的融合到现有的系统中,所以我希望通过java函数调用的方式运行这段程序,在一段时间的摸索和老师的指导下发现根据报错的意思应该是没有将jar包提交到spark的worker上面 导致运行的worker找不到被原创 2014-07-08 16:40:39 · 12043 阅读 · 2 评论 -
spark-shell on yarn 出错(arn application already ended,might be killed or not able to launch applic)解决
今天想要将spark-shell 在yarn-client的状态下 结果出错:[hadoop@localhost spark-1.0.1-bin-hadoop2]$ bin/spark-shell --master yarn-clientSpark assembly has been built with Hive, including Datanucleus jars on classpa原创 2014-07-22 17:49:15 · 23560 阅读 · 4 评论 -
[spark学习]之spark shell 入门
spark shell 是spark自带的一个快速原型开发的工具,在spark目录下面的bin目录下面,鸡原创 2014-05-23 17:55:43 · 29627 阅读 · 1 评论 -
spark on yarn第一个程序(为小象插上翅膀)
首先借用淘宝明风的图说明下spark on yarn的架构:原创 2014-05-22 11:47:33 · 2371 阅读 · 0 评论 -
spark on hdfs spark处理hdfs上的文件简单的wordcount
进入spark/bin 目录 输入spark-shell 进入spark shell模式原创 2014-05-21 14:12:30 · 3398 阅读 · 0 评论 -
spark sql 访问hive数据时找不mysql的解决方法
错误如下:原创 2014-08-14 17:40:39 · 2735 阅读 · 0 评论