风行天下

hadoop 网络游戏 探索

使用Apache Spark让MySQL查询速度提升10倍以上

作者:Alexander Rubin 链接:http://coyee.com/article/11012-how-apache-spark-makes-your-slow-mysql-queries-10x-faster-or-more 在这篇文章中我们将讨论如何利用 Apache Spark...

2016-08-26 14:15:58

阅读数:10999

评论数:1

Spark社区可能放弃Spark 1.7而直接发布Spark 2.x

最近由Reynold Xin给Spark开发者发布的一封邮件透露,Spark社区很有可能会跳过Spark 1.7版本的发布,而直接转向Spark 2.x。

2015-11-14 09:49:43

阅读数:851

评论数:0

中国大数据专业公司

1. 上海星环信息科技 http://www.transwarp.cn/ 2. 广州巨杉软件 http://www.sequoiadb.com/ 3. 北京红象云腾系统技术公司 4.天云融创数据科技 http://www.beagledata.com/ 5.成都数联铭品 http://...

2015-10-04 10:01:28

阅读数:1158

评论数:0

安装SparkR

必须条件: 1:安装好JDK 2:安装好R 步骤1: 运行R Shell [jifeng@feng03 R-3.1.1]$ R R version 3.1.1 (2014-07-10) -- "Sock it to Me" Copyright (C) 2014 The R ...

2015-09-30 00:20:04

阅读数:6325

评论数:0

R-3.1.1 编译安装2

1:下载解压 [jifeng@feng03 r]$ wget http://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.1.1.tar.gz --2015-09-29 21:53:37-- http://mirror.bjtu.edu.cn/cran/sr...

2015-09-29 23:13:25

阅读数:1496

评论数:0

R-3.1.1 编译安装

1:安装系统环境 [root@feng03 R-3.1.1]# lsb_release -a LSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:gra...

2015-09-29 23:05:15

阅读数:573

评论数:0

Spark1.2新特性概述

Spark1.2 新特性概述 1.2居然真的在12月份发布了,我表示略感意外,我一直以为稍微跳个票要到明年一月初才能发的。这次更新有172个开发者参与,并且有1000多个commits。这真是一个了不起的数字。本次版本给我们带来了很多新特性,并且也有不少的性能优化点。我说几个比较...

2015-09-09 21:41:00

阅读数:401

评论数:0

Spark1.4 和 Hive 1.1.1 启动错误

启动Spark-sql [jifeng@feng03 spark-1.4.0-bin-hadoop2.6]$ ./bin/spark-sql --master spark://feng03:7077 Exception in thread "main" java.lan...

2015-09-05 16:02:50

阅读数:1812

评论数:0

spark-submit

[jifeng@feng03 spark-1.4.0-bin-hadoop2.6]$ ./bin/spark-submit --class "SimpleApp" --master spark://feng03:7077 /home/jifeng/code/simple/tar...

2015-08-20 23:28:12

阅读数:2483

评论数:0

Spark启动

命令:./start-master.sh Spark Command: /home/jifeng/jdk1.7.0_79/bin/java -cp /home/jifeng/spark-1.4.0-bin-hadoop2.6/sbin/../conf/:/home/jifeng/spark-1.4...

2015-07-09 22:56:09

阅读数:9414

评论数:0

spark 1.4 编译

在官网直接下载最新的1.4代码 http://d3kbcqa49mib13.cloudfront.net/spark-1.4.0.tgz 解压后执行编译,但是需要配置下环境 JDK Scala Maven [jifeng@feng03 spark-1.4.0]$ cat ~/.ba...

2015-07-05 11:53:52

阅读数:2950

评论数:3

Spark SQL and DataFrame for Spark 1.3

Spark SQL and DataFrame Guide 启动Start Shell [jifeng@feng03 spark-1.3.0-bin-hadoop2.4]$ ./bin/spark-shell Spark assembly has been built with ...

2015-03-14 11:17:39

阅读数:2906

评论数:1

spark sql and hive 3g数据测试

1:上传文件到hdfs [jifeng@feng01 hadoop]$ hadoop fs -mkdir /user/jifeng/fire 15/03/05 13:29:28 WARN util.NativeCodeLoader: Unable to load native-hadoop lib...

2015-03-05 14:20:55

阅读数:1452

评论数:1

spark SQL Running the Thrift JDBC/ODBC server

Running the Thrift JDBC/ODBC server 1:运行 ./sbin/start-thriftserver.sh  --hiveconf hive.server2.thrift.port=10000  --hiveconf hive.server2.thrift.bi...

2015-03-04 17:22:04

阅读数:8678

评论数:3

Spark SQL CLI 运行

1:运行 ./bin/spark-sql 需要先把hive-site.xml 负责到spark的conf目录下 [jifeng@feng02 spark-1.2.0-bin-2.4.1]$ ./bin/spark-sql Spark assembly has been built with Hiv...

2015-03-04 14:47:45

阅读数:12546

评论数:0

spark 1.3.0 测试

[jifeng@feng02 spark-1.3.0-bin-2.4.1]$ master=spark://feng02:7077 ./bin/spark-shell Spark assembly has been built with Hive, including Datanucleus ja...

2015-03-03 16:58:29

阅读数:6603

评论数:3

spark sql 1.2.0 测试

1:启动shell master=spark://feng02:7077 ./bin/spark-shell [jifeng@feng02 spark-1.2.0-bin-2.4.1]$ master=spark://feng02:7077 ./bin/spark-shell Spark...

2015-03-03 15:51:54

阅读数:1130

评论数:0

spark 1.3 编译

./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -DskipTests -Dhadoop.version=2.4.1 -Phive [jifeng@feng02 spark-1.3.0-rc1]$ ./make-distribution.sh -...

2015-02-27 16:36:44

阅读数:6808

评论数:2

Spark DataFrame----一个用于大规模数据科学的API

DataFrame,作为2014–2015年Spark最大的API改动,能够使得大数据更为简单,从而拥有更广泛的受众群体。 文章翻译自Introducing DataFrames in Spark for Large Scale Data Science,作者Reynold Xin(...

2015-02-20 11:49:03

阅读数:9140

评论数:0

Spark 1.2 编译

1:下载 wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0.tgz [jifeng@feng02 hadoop]$ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0.tgz --20...

2015-02-06 23:17:59

阅读数:4359

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭