![](https://img-blog.csdnimg.cn/20200407101337945.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
Spark相关
果粒多
非学,无以致疑;非问,无以广识.
展开
-
运行idea项目报错java.io.Exception:Could not locate executable null\bin\winutils.exe in the Hadoop binaries
Windows下启动idea项目报错 java.io.Exception:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.原因:本地配置的hadoop文件bin目录下缺少winutils.exe 和hadoop.dll文件解决办法:https://blog.csdn.net/guoliduo...原创 2020-03-30 10:04:01 · 561 阅读 · 0 评论 -
Windows下Hadoop报错:Failed to locate the winutils binary in the hadoop binary path
报错的原因是因为:没有找到Hadoop目录,需要配置Hadoop的环境变量,并在hadoop bin目录下添加winutils.exe 和hadoop.dll文件。1.下载所需版本的hadoop文件下载链接:https://archive.apache.org/dist/hadoop/common/2.配置环境变量(以windows10系统为例)(1) 先配置HADOOP_HOME...原创 2020-03-30 09:55:40 · 903 阅读 · 0 评论 -
Spark之DataFrame操作大全
SparkSession中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作,在DataFrame中都可以通过调用其API接口来实现。可以参考,Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。一、DataFrame对象的生成 Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表,以及通过JDBC连接到其他关系型数据库作为数据源来生成DataFrame对象。本文将以MySQL数据库为数据源.转载 2020-06-27 10:22:11 · 1917 阅读 · 0 评论 -
Scala中flatMap和map源码解析
flatmap和map是Scala中常见的两种算子未完待续...原创 2020-05-20 15:37:28 · 476 阅读 · 0 评论