spark例子无法读取到hadoop的hdfs的文件

最新推荐文章于 2023-02-22 15:32:52 发布
最新推荐文章于 2023-02-22 15:32:52 发布
阅读量1.7k 收藏
点赞数
分类专栏： hadoop linux学习心得 ssh 文章标签： hadoop集群 zookeeper spark 文件系统 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18304615/article/details/77718976
版权
linux学习心得 同时被 3 个专栏收录
9 篇文章 0 订阅
订阅专栏
hadoop
5 篇文章 0 订阅
订阅专栏
ssh
3 篇文章 0 订阅
订阅专栏

spark运行的namenode是standby web的hdfs文件系统报错：Operation category READ is not supported in state standby
1.如果是两个namenode都是standby：原因是zookeeper没有启动

zkServer.sh start

2：Operation category READ is not supported in state standby是因为你在的namenode是stanby
可以切换namenode 在active的namenode下的hadoop/sbin执行下面的语句

./hadoop-daemon.sh stop zkfc
./hadoop-daemon.sh start  zkfc

有疑问可联系我邮箱：1650918851@qq.com

最老狗
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据课程的期末项目基于spark、hadoop hdfs、mongodb，使用scala，进行电影推荐+源代码+文档说明
12-16
# bigdata-movie-recommend # 电影推荐分析系统 本次项目基于Python爬虫与Movielens数据集作为数据来源，获取CSV格式的数据，使用Hadoop HDFS作为数据的分布式存储平台，使用MongoDB作为数据结构化、规范化的处理并对运算结果进行存储，使用Spark暴露对外SQL接口，使用Spark进行数据处理运算，执行核心算法，使用SCALA语言编程，调用Spark MLlib等代码库进行机器学习算法执行，得到推荐结果。使用VUE前端框架与Flask后端框架进行结果可视化平台搭建。 ## 过程简述 ### 基于MovenLens 数据集 - 收集MovieLens数据集，包含16万个电影，2400万条评分，67万条评价标签，将csv文件上传到完全分布式HDFS文件系统 - scala、spark读取HDFS文件，整理导入MongoDB数据库 - MongoDB中加载数据，利用sparkRdd统计热门电影、高分电影，统计分年月、分类别的热门、高分电影数据 - 基于ALS协同过滤算法，得到用户电影推荐和相似电影推荐 - 通过 TF-IDF 算法对标签的权重进行调，计算电影的内容特征向量，实现基于内容的电影推荐 - 使用python、pymongo和matplotlib，读取MongoDB数据并进行可视化 - 使用python实现SVD奇异值分解进行电影推荐 - Python flask构建后端数据服务，vue构建前端页面，交互式展示数据。 -------- 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
spark 和hadoop的 hdfs 整合（spark sql 找不到文件）
lb876864380的博客
05-15 1956
初学spark 的时候在 spark shell窗口类里面操作以下代码对hdfs 的文件进行操作的时候会出现找不到文件的错误val lineRDD= sc.textFile("/person.txt").map(_.split(" "))【此处不配图了】原因是spark 没有配置hadoop 相关的参数。在spark-env.sh 中添加HADOOP_CONF_DIR配置，指明了hadoop的配置...
Spark读取HDFS文件报错：java.net.ConnectException: Call From to localhost:9000 failed on connection
生信小白的不定期记录
11-04 1946
Spark读取HDFS文件报错：localhost:9000 failed on connection exception: java.net.ConnectException: 拒绝连接
SparkStreaming无法读取hdfs文件
_衷愉的博客
08-04 524
代码如下： package com.spark import org.apache.spark.rdd.RDD import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.{SparkConf, SparkContext} object SparkStreamHDFS { def main
spark on yarn 读取hdfs拒绝连接AnnotatedConnectException: 拒绝连接: localhost/127.0.0.1:53056
qq_65303368的博客
02-22 723
可能是服务器找不到Driver导致的，在服务器的host配置你Driver电脑的映射可能解决问题，这里我是云服务器，没在一个局域网且没有公网ip所以放弃远程提交改用命令行提交。技术力有限，如果有更好的结局方案请留言，不胜感激。spark on yarn 读取hdfs拒绝连接。
Spark连接Hadoop读取HDFS问题小结
架构设计
09-12 419
Spark与hadoop版本 我使用0.7.2的Spark版本，且是pre-built过的版本，支持的hadoop版本是hadoop1。在http://spark-project.org/files/上能下载的预编译过的spark版本里，凡是预编译cdh4的压缩包，下载后解压会中断，文件本身有问题。我在google论坛上发帖说明了这个问题：https://groups.google.com/fo...
spark读取hdfs的权限异常
piduzi的博客
08-20 3516
hdfs本身是没有身份认证的，但是为了防止用户误操作，它也有类似linux的文件权限限制 我在IDE里开发程序连接hdfs因为本机名和服务器的文件所属用户名不同导致没有读取权限，错误异常堆栈如下：   这样有两种解决方法，一是更改文件权限或所属用户，二是更改本地用户名。 我用的是第二种： 可以在程序中定义sparksession之前。加入这么一段代码 System.setProper...
实验七：Spark初级编程实践
07-15
2. Spark读取文件系统的数据 （1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数； 图3 spark统计行数 （2） 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”...
Spark：比Hadoop更强大的分布式数据计算项目
03-01
Spark使用Scala开发，使用Mesos作为底层的调度框架，可以和hadoop和Ec2紧密集成，直接读取hdfs或S3的文件进行计算并把结果写回hdfs或S3，是Hadoop和Amazon云计算生态圈的一部分。Spark是一个小巧玲珑的项目，项目的...
大数据工作面试练习题 BAT大数据面试题 Hadoop、kafka、HDFS、Spark、MapReduce 共19页.pdf
04-24
大数据工作面试练习题 2018最新BAT大数据面试题 Hadoop、kafka、HDFS、Spark、MapReduce 【内容大纲-共25道题目】 1、kafka的message包括哪些信息？ 3 2、怎么查看kafka的offset？ 3 3、hadoop的shuffle过程是？ 3 ...
Spark Streaming处理hdfs上数据流时，取不到hdfs数据流得数据
lyq7269的博客
08-21 672
Spark Streaming的spark代码运行时发现收取不到hdfs相应的是数据流 案例代码 import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.{Seconds, StreamingContext} object HDFSInputDStreamDemo extends App { val conf: Spa
在docker上部署rocketmq遇到控制台无法访问的问题解决
qq_28228605的博客
10-26 4714
参考： 基于 Docker 安装 RocketMQ docker部署rocketmq步骤 1.创建docker-compose.yml文件 注意： 启动 RocketMQ Server + Broker + Console 至少需要 2G 内存 version: '3.5' services: rmqnamesrv: image: foxiswho/rocketmq:server container_name: rmqnamesrv ports: - 9876.
SparkStreaming消费Kafka数据，实时写入HDFS，Java版本
wunanliu的采坑日记
07-03 1449
SparkStreaming消费Kafka数据入HDFS
StructedStreaming消费Kafka数据突然存储不到HDFS
erainm
03-14 2631
问题描述： StructedStreaming消费Kafka数据存储到HDFS中，以前正常存储，突然就存储不进去了，可以新建文件夹，但是数据写入不进去了。 分析：通过流写出到控制台，能消费数据，说明消费正常，但是就是写不进HDFS中，说明写时不能触发HDFS保存。 /** * 消费数据，写到控制台 */ val query = spark.sql(sql) .writeStream .format("console") .outputMode("append") .start
解决Spark查询Hive表扫描不到HIVE_UNION_SUBDIR的问题
私奔在线
03-29 4594
背景 　　使用Hive的insert overwrite/into select ... union all生成的Hive表数据时，会在原本的数据表目录下生成多个子目录（HIVE_UNION_SUBDIR_1、HIVE_UNION_SUBDIR_2），以存放数据文件（正常情况下数据文件会直接存放在数据表目录下）。 　　这时，如果使用spark-sql去查询该数据表的时候，会报 Not a file 的异常： Cause by: java.io.IOException: Not a file: hdf
解决Spark无法加载Hadoop本地版本库的问题
尔后碎碎念的博客
07-24 2190
就是报以下这个警告的，也不知道对运行程序究竟会产生什么样的影响。 unable to load native-hadoop library for your platform... using builtin-java classes where applicable 首先，你的Hadoop是在本地已经编译过的版本，这样在hadoop/lib/native就会生成一些本地库相关的文件。这样就...
idea运行Sparkstreaming读取hdfs文件遇到的问题
programmer_trip的博客
08-25 712
先贴代码 idea中运行SparkStreaming时，动态添加文件至指定目录下，结果没有任务信息输出 问题原因： ①idea所在主机时间和hdfs集群时间不同步 ②代码中指定的hdfs目录为非空(启动之前已经有文件) 解决办法 ①将hdfs集群时间与主机时间进行同步 1 首先停掉hdfs集群的所有进程 2 关闭虚拟机 3 为每台虚拟机勾选 将客户机时间与主机同步(S) 4 重启虚拟机 5 启动集群 时间同步成功 ②保证代码中指定的hdfs路径是空的或者路径不存在也可以，会自动创建 ③以上两
Spark Streaming监控HDFS目录失败的原因（已解决）
qq_40493738的博客
05-03 1530
我因为做毕设需要用到大数据的一些东西，我用sqoop增量读取mysql数据库的数据，然后写入hdfs文件系统，于是想用Spark Sreaming监控HDFS文件目录，可以实时读取HDFS文件目录新增加的数据，通过Spark处理读取的数据。 所以前期就调试Spark Streaming监控hdfs文件目录，可是出现了一个奇怪的问题。我在另外一台电脑上可以跑通，但是在笔记本上就跑不通。而...
sparkstreaming读取文件读取不到数据
u013314600的博客
09-28 981
今天用了下sparkstreaming读取hdfs文件或本地目录文件，发现文件内容一直不会被处理， 使用了下面两种方法都不行，阅读源码并开启DEBUG后发现，textFileStream后面也是调用fileStream方法，并且newFilesOnly传入的为true，这个值为true时，spark只会处理文件创建时间大于spark启动时间的文件。。这个比较坑，老文件无论如何都不会被处理。刚开始的时候这个值传入true并且也使用新文件，也是一样没有处理，开了DEBUG后才发现有一个guava的错误，由于版
spark shell读取hadoop hdfs上文本文件统计wordcount的方法
最新发布
06-28
2. 然后，使用以下命令读取Hadoop HDFS上的文本文件： ``` val textFile = sc.textFile("hdfs://<namenode>:<port>/<path-to-file>") ``` 其中，`<namenode>`是Hadoop集群的名称节点，`<port>`是Hadoop集群的端口...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值