spark
文章平均质量分 83
jiangzeyun
就职于互联网企业
展开
-
spark+java1.8+lamda wordCount 实例,并且实现按单词出现的次数的倒序排序
spark+java1.8+lamda wordCount 实例,并且实现按单词出现的次数的倒序排序原创 2016-09-16 16:33:19 · 1890 阅读 · 0 评论 -
SparkSQL配置(HIVE作为数据源)
HIVE的配置(以mysql做为元数据的存储,hdfs作为数据的存储):1.修改 hive-env.sh (可以从hive-default.xml.template拷贝修改)#hadoop的主目录export HADOOP_HOME=/usr/local/hadoop# Hive Configuration Directory can be controlled by:export原创 2016-09-30 18:24:35 · 6764 阅读 · 0 评论 -
Spark,SparkSql wordCount,java wordcount
Spark SQL 版本package com.jiangzeyun.sparkSQl;import java.util.Arrays;import java.util.Random;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.sql.Dataset;import org.apache.sp...原创 2018-10-03 17:36:24 · 759 阅读 · 0 评论