hadoop资料
木心文刀
这个作者很懒,什么都没留下…
展开
-
Spark之RDD输出到不同的文件名和目录
import org.apache.hadoop.io.NullWritableimport org.apache.hadoop.mapred.lib.MultipleTextOutputFormat/** * ClassName: qqqq * Author: yage.liu * Date: 2017年12月01日 17:02 * Version: V1...原创 2019-12-01 17:06:10 · 1016 阅读 · 2 评论 -
spark 处理当前数据所在的文件名称和目录
package com.lyg.coreimport org.apache.spark.SparkContextimport org.apache.spark.rdd.{HadoopRDD, NewHadoopRDD, RDD}import org.apache.spark.sql.SparkSession/** * ClassName: ReadDataToDirectory...原创 2019-12-01 16:46:19 · 924 阅读 · 0 评论 -
hadoop环境变量配置
第一步:配置hadoop home 第二步:配置path第三步:测试 cmd>hadoop version 报错!原因是jdk的路径有空格修改成:C:\PROGRA~1\Java\jdk1.8.0_152如下图:原创 2017-10-26 10:24:46 · 1120 阅读 · 0 评论