spark
-早起的码农
这个作者很懒,什么都没留下…
展开
-
spark集群安装
这里是结合hadoop2.0使用的1,download :http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载2,download scala,http://www.scala-lang.org/download/all.html根据下载的spark的README中的描述下载合适的版本3,安装 其实就是解压,配原创 2014-02-10 19:00:00 · 3121 阅读 · 0 评论 -
spark程序运行时问题
spark java程序写完后,执行 java -jar jar包name报如下错误:Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.remote.log-sent-messages'请修改 org.apa原创 2014-02-11 12:08:14 · 8854 阅读 · 2 评论 -
SPARK各种提交方式总结
1,Spark SQL1.1 spark sql运行在yarn之前注意在/etc/profile配置export HADOOP_HOME=/data/hadoop/hadoop-2.7.1export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop1.2 需要将hive-sit原创 2017-03-21 18:24:04 · 5654 阅读 · 0 评论 -
Spark MLlib之KMeans
Spark MLlib之KMeansimport org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;im原创 2017-03-22 17:46:04 · 1715 阅读 · 1 评论 -
Spark MLlib之线性回归
回归 RegressionMetrics mllib spark原创 2017-03-22 14:12:46 · 2943 阅读 · 1 评论 -
Spark MLlib之协同过滤
Spark MLlib 协同过滤实例原创 2017-03-23 14:16:20 · 1974 阅读 · 0 评论 -
spark-submit 参数
Usage: spark-submit [options] <app jar | python file | R file> [app arguments]Usage: spark-submit --kill [submission ID] --master [spark://...]Usage: spark-submit --status [submission ID] --m...原创 2019-01-11 11:44:04 · 605 阅读 · 0 评论 -
Spark Rdd DataFrame操作汇总
直接上测试代码:import org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.functions.{udf, _}import org.junit.{Assert, Test}import org.apache.spark.sql.types._...原创 2019-05-04 12:06:22 · 1366 阅读 · 0 评论