Spark
wind520
这个作者很懒,什么都没留下…
展开
-
Spark 1.2 Standalone Mode 单机安装
1:spark下载,解压[jifeng@jifeng01 hadoop]$ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop1.tgz--2015-02-03 21:50:25-- http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop1.tgz原创 2015-02-03 22:24:16 · 8133 阅读 · 0 评论 -
spark 1.4 编译
在官网直接下载最新的1.4代码http://d3kbcqa49mib13.cloudfront.net/spark-1.4.0.tgz解压后执行编译,但是需要配置下环境JDKScalaMaven[jifeng@feng03 spark-1.4.0]$ cat ~/.bash_profile# .bash_profile# Get the aliases and f原创 2015-07-05 11:53:52 · 3541 阅读 · 3 评论 -
Spark1.2新特性概述
Spark1.2 新特性概述1.2居然真的在12月份发布了,我表示略感意外,我一直以为稍微跳个票要到明年一月初才能发的。这次更新有172个开发者参与,并且有1000多个commits。这真是一个了不起的数字。本次版本给我们带来了很多新特性,并且也有不少的性能优化点。我说几个比较重要的吧。Spark Core:1、在传大量数据的情况下,communic转载 2015-09-09 21:41:00 · 543 阅读 · 0 评论 -
Spark1.4 和 Hive 1.1.1 启动错误
启动Spark-sql[jifeng@feng03 spark-1.4.0-bin-hadoop2.6]$ ./bin/spark-sql --master spark://feng03:7077Exception in thread "main" java.lang.RuntimeException: java.lang.NumberFormatException: For inpu原创 2015-09-05 16:02:50 · 2035 阅读 · 0 评论 -
spark-submit
[jifeng@feng03 spark-1.4.0-bin-hadoop2.6]$ ./bin/spark-submit --class "SimpleApp" --master spark://feng03:7077 /home/jifeng/code/simple/target/scala-2.10/simple-project_2.10-1.0.jar15/08/20 23:23:52原创 2015-08-20 23:28:12 · 3106 阅读 · 3 评论 -
R-3.1.1 编译安装
1:安装系统环境[root@feng03 R-3.1.1]# lsb_release -aLSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-no原创 2015-09-29 23:05:15 · 1293 阅读 · 0 评论 -
R-3.1.1 编译安装2
1:下载解压[jifeng@feng03 r]$ wget http://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.1.1.tar.gz--2015-09-29 21:53:37-- http://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.1.1.tar.gzResolving mirror.bjtu.edu原创 2015-09-29 23:13:25 · 1960 阅读 · 0 评论 -
安装SparkR
必须条件:1:安装好JDK2:安装好R步骤1: 运行R Shell[jifeng@feng03 R-3.1.1]$ RR version 3.1.1 (2014-07-10) -- "Sock it to Me"Copyright (C) 2014 The R Foundation for Statistical ComputingPlatform: x86_64-un原创 2015-09-30 00:20:04 · 9247 阅读 · 0 评论 -
中国大数据专业公司
1. 上海星环信息科技 http://www.transwarp.cn/2. 广州巨杉软件 http://www.sequoiadb.com/3. 北京红象云腾系统技术公司4.天云融创数据科技 http://www.beagledata.com/5.成都数联铭品 http://www.bbdservice.com/持续更新中...原创 2015-10-04 10:01:28 · 1493 阅读 · 0 评论 -
Spark社区可能放弃Spark 1.7而直接发布Spark 2.x
最近由Reynold Xin给Spark开发者发布的一封邮件透露,Spark社区很有可能会跳过Spark 1.7版本的发布,而直接转向Spark 2.x。转载 2015-11-14 09:49:43 · 1475 阅读 · 0 评论 -
Spark启动
命令:./start-master.shSpark Command: /home/jifeng/jdk1.7.0_79/bin/java -cp /home/jifeng/spark-1.4.0-bin-hadoop2.6/sbin/../conf/:/home/jifeng/spark-1.4.0-bin-hadoop2.6/lib/spark-assembly-1.4.0-hadoop2.原创 2015-07-09 22:56:09 · 12676 阅读 · 0 评论 -
spark SQL Running the Thrift JDBC/ODBC server
Running the Thrift JDBC/ODBC server1:运行./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=feng02 --master spark://feng02:7077 --d原创 2015-03-04 17:22:04 · 9518 阅读 · 3 评论 -
Spark 1.2 集群环境安装
我是在单机环境下修改下配置完成的集群模式单机安装查看:http://blog.csdn.net/wind520/article/details/434589251:修改slaves配置[jifeng@jifeng01 conf]$ cp slaves.template slaves[jifeng@jifeng01 conf]$ vi slaves# A Spark Worker原创 2015-02-04 21:56:00 · 1126 阅读 · 0 评论 -
Spark 1.2 编译
1:下载wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0.tgz[jifeng@feng02 hadoop]$ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0.tgz--2015-02-06 20:41:10-- http://d3kbcqa49mib13.cloudf原创 2015-02-06 23:17:59 · 6620 阅读 · 0 评论 -
Spark DataFrame----一个用于大规模数据科学的API
DataFrame,作为2014–2015年Spark最大的API改动,能够使得大数据更为简单,从而拥有更广泛的受众群体。文章翻译自Introducing DataFrames in Spark for Large Scale Data Science,作者Reynold Xin(辛湜,@hashjoin),Michael Armbrust,Davies Liu。以下为译文转载 2015-02-20 11:49:03 · 10498 阅读 · 0 评论 -
spark 1.3 编译
./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -DskipTests -Dhadoop.version=2.4.1 -Phive[jifeng@feng02 spark-1.3.0-rc1]$ ./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -DskipTests -Dhadoop.versi原创 2015-02-27 16:36:44 · 8140 阅读 · 2 评论 -
spark sql 1.2.0 测试
1:启动shellmaster=spark://feng02:7077 ./bin/spark-shell[jifeng@feng02 spark-1.2.0-bin-2.4.1]$ master=spark://feng02:7077 ./bin/spark-shellSpark assembly has been built with Hive, including Datan原创 2015-03-03 15:51:54 · 1350 阅读 · 0 评论 -
spark 1.3.0 测试
[jifeng@feng02 spark-1.3.0-bin-2.4.1]$ master=spark://feng02:7077 ./bin/spark-shellSpark assembly has been built with Hive, including Datanucleus jars on classpathlog4j:WARN No appenders could be fo原创 2015-03-03 16:58:29 · 7130 阅读 · 3 评论 -
Spark SQL CLI 运行
1:运行 ./bin/spark-sql需要先把hive-site.xml 负责到spark的conf目录下[jifeng@feng02 spark-1.2.0-bin-2.4.1]$ ./bin/spark-sqlSpark assembly has been built with Hive, including Datanucleus jars on classpathjava.l原创 2015-03-04 14:47:45 · 14174 阅读 · 0 评论 -
spark sql and hive 3g数据测试
1:上传文件到hdfs[jifeng@feng01 hadoop]$ hadoop fs -mkdir /user/jifeng/fire15/03/05 13:29:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java class原创 2015-03-05 14:20:55 · 1756 阅读 · 1 评论 -
Spark SQL and DataFrame for Spark 1.3
Spark SQL and DataFrame Guide启动Start Shell[jifeng@feng03 spark-1.3.0-bin-hadoop2.4]$ ./bin/spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpathlog4j原创 2015-03-14 11:17:39 · 3191 阅读 · 1 评论 -
使用Apache Spark让MySQL查询速度提升10倍以上
作者:Alexander Rubin链接:http://coyee.com/article/11012-how-apache-spark-makes-your-slow-mysql-queries-10x-faster-or-more在这篇文章中我们将讨论如何利用 Apache Spark 来提升 MySQL 的查询性能。介绍在我的前一篇文章 Apache Spark with转载 2016-08-26 14:15:58 · 16452 阅读 · 2 评论