spark
lyc0424
这个作者很懒,什么都没留下…
展开
-
spark读取不了本地文件
环境:ubuntu16.04在spark集群中想要获取本地文件数据集iris.txt,但是却报了上图这样的错误,显示这个文件在这个路径不存在。然后我在本地这个文件路径查看是否有这个txt文件结果发现本地有这个文件啊,这就有点问题了然后上网查资料,资料如下:在spark-shell里执行textFile方法时,如果total-executor-cores设置为N,哪N台机有CoarseGrainedExecutorBackend进程的,读取的文件需要在这N台机都存在如果设置为1,就读.原创 2020-06-14 18:12:24 · 1818 阅读 · 0 评论 -
Caused by: java.net.ConnectException: Call From master/192.168.94.135 to master:9000 failed on conn.
在spark集群中访问文件时报了下面的错误查资料怀疑 之前搭的hadoop集群可能出了问题如上图重启hadoop和spark之后再次运行之前的命令问题解决!这里解释一下"file:///"1、IT中的File,本地文件bai传输协议du,File协议主要用于访问本地计zhi算机中的文件,就如同在Windows资源dao管理器中打开文件一样。2、INUX 命令File,file 命令读取用 File 参数或者 FileList 变量指定的文件,在每个文件上执行一系列测试,.原创 2020-06-14 11:13:49 · 2948 阅读 · 0 评论 -
关于sparksql中的转义符如何处理
在spark中处理iris.txt数据集,部分处理数据如下:但是使用sparksql查找数据时出了错误,错误原因应该是所匹配字符"setosa"带有双引号,需要转义尝试直接在双引号前加‘\’,如下所示成功,问题解决!参考:https://blog.csdn.net/qq_40651753/article/details/87980239...原创 2020-06-14 09:33:43 · 5152 阅读 · 0 评论 -
spark 伪分布式安装
环境:Ubuntu16.04在伪分布式安装spark之前,首先需要伪分布式安装配置Hadoop,这个就不做详细介绍了,可以参看博主的另一篇博客:https://blog.csdn.net/lyc0424/article/details/101078489spark下载地址:http://spark.apache.org/downloads.html注意:安装的spark版本需要与之...原创 2020-04-12 18:40:39 · 1425 阅读 · 0 评论