spark
豪猪不挡道
这个作者很懒,什么都没留下…
展开
-
java读写与spark读写代码差异
事情是这样的:需求:读取一个swagger文件,构造出3w个服务路径的文件。用java原生文件流:代码如下:public static String readJson(String filePath) throws FileNotFoundException { String jsonStr=""; try { File jsonFile=new File(filePath); FileReader fileReader=原创 2021-04-20 16:34:52 · 231 阅读 · 4 评论 -
个人总结-Spark运行异常问题汇总
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.$ vim /etc/profile#添加以下两句话export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport YARN_CONF_原创 2020-07-17 11:04:50 · 6055 阅读 · 3 评论