spark云计算
下雨天不打伞123
技术学习交流
展开
-
导入文章“Apache Spark学习:将Spark部署到Hadoop 2.2.0上”中给出的 assembly/target/scala-2.9.3/目录下的spark-assembly-0.8.
最近在搭建用eclipse构建spark环境时,查找网上的相关文章,看到一篇董的博客http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/,大家可以如有搭建这个环境的可以看下,里面有个需要用到编译好的jar包。这个包那个链接给没找到,大家可以自行下载spark-0.8.1-incubating-bin-hadoop2.tgz解压出来在原创 2016-03-30 18:47:27 · 1500 阅读 · 0 评论 -
./spark-submit --class Test --master spark://localhost:7077 /usr/local/aa.jar
./spark-submit --class Test --master spark://localhost:7077 /usr/local/aa.jar 打包好的jar包发布到spark单机情况下的命令后面的aa.jar是我的jar包。原创 2016-03-31 22:14:05 · 1392 阅读 · 0 评论 -
hadoop伪分布式集群上传文件出现的位数问题
近几天在搞hadoop,原先装的是32位的ubuntu系统,一切跑的都正常,但之后我换spark玩玩,于是装了64位的ubuntu14.04(觉得原先系统版本太旧了),按照之前的配置重新来了一遍,原以为都OK,jps也看到那些进程点,但在我用mkdir input时出现问题了, WARN util.NativeCodeLoader: Unable to load native-hadoop原创 2016-04-10 14:35:26 · 313 阅读 · 0 评论