大数据
文章平均质量分 70
浅暖0803
这个作者很懒,什么都没留下…
展开
-
上传文件到HDFS
应该是hdfs配置的问题,一开始在安装spark环境时没有配置hadoop相关文件,参考。注意改文件夹是创建在hdfs中的,不是本地,查看本地/opt,并没有该文件夹。第三章,安装配置好hadoop并启动,再次执行上述命令时,成功。也可以在浏览器中查看。原创 2024-04-19 15:59:57 · 381 阅读 · 1 评论 -
mkdir: ‘/opt/hdfsDep‘: Input/output error
执行hdfs dfs -mkdir -p /opt/hdfsDepo时,报错:mkdir: `/opt/hdfsDep': Input/output error,应该是配置文件的问题。修改Hadoop配置文件hdfs-site.xml,core-site.xml。进入usr/local/hadoop-3.3.6/bin目录,进行格式化,原创 2024-04-17 15:20:34 · 153 阅读 · 1 评论 -
编写Spark独立应用程序
执行本文之前,先搭建好spark的开发环境,我目前只搭建了standalone模式,参考链接 :1)下载sbt网址:https://www.scala-sbt.org/download.html ,下载sbt-1.8.3.tgz。2)将下载好的安装包拷贝到共享文件夹,3)解压到/usr/local4)修改权限5)将bin目录下的sbt-launch.jar复制到sbt的安装目录下6) 创建脚本/usr/local/sbt/sbt,添加如下内容:7) 修改权限8) 检验 sbt 是否可用。原创 2024-04-18 08:58:29 · 1264 阅读 · 1 评论 -
Spark Standalone模式部署
准备至少2台虚拟机,装好linux系统,我装的是Ubuntu20.04。原创 2024-04-16 13:34:26 · 709 阅读 · 0 评论