- 博客(5)
- 资源 (11)
- 收藏
- 关注
原创 Spark MLlib之KMeans
Spark MLlib之KMeansimport org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; im
2017-03-22 17:46:04 1721 1
原创 SPARK各种提交方式总结
1,Spark SQL1.1 spark sql运行在yarn之前注意在/etc/profile配置export HADOOP_HOME=/data/hadoop/hadoop-2.7.1export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop1.2 需要将hive-sit
2017-03-21 18:24:04 5655
原创 Hive ORC数据格式的MapReduce Shuffle
1,mr代码如下package com.test.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apach
2017-03-03 17:01:25 1511
cx-oracle instantclient-basic-win32-10.2.0.4 第一部分
2011-03-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人