遇到的问题
努力的小包
这个作者很懒,什么都没留下…
展开
-
Python中for循环中return报错了,SyntaxError:‘return‘ outside function
python中return的使用原创 2022-09-07 15:28:26 · 2653 阅读 · 1 评论 -
VScode使用pip已经下载了faker,但还是报错ModuleNotFoundError: No module named ‘faker‘
使用vscode编程,下载faker包,已经成功下载了,但是提示没有这个包原创 2022-02-15 15:03:45 · 2937 阅读 · 1 评论 -
为什么spark读取本地的json文件会自动去hdfs上去找?读取不到本地的文件
问题描述遇到的问题如上图所示:我在spark中读取的json文件明明是集群本地的文件,可是他偏偏就自作聪明去了hdfs上面去找我的文件!!那肯定会报错啊!!!我hdfs上怎么可能有这个文件嘛!!!原因:我在spark中的运行环境配置了yarn关联,如下所示:修改了spark-env.sh,添加如下配置:YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop那么Spark会把路径自动变成hdfs的路径的,就会去hdfs上面找!!!解决办法要在你的原创 2021-08-03 20:58:09 · 516 阅读 · 2 评论 -
如何解决log4j错误警告
如果你不想在程序运行的时候有log4j的警告,添加一个文件就能完美解决~比如我用的是IDEA软件,然后我再工程文件中的src/main/resources下添加一个log4j.properties文件,如下图所示:文件内容如下(直接复制黏贴就好了):log4j.rootLogger=INFO, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.lo原创 2021-06-18 21:14:58 · 1504 阅读 · 0 评论 -
为什么我的三个虚拟机的Datanode成功启动了,但是Hadoop集群管理页面上只有两个节点,刷新后交替着出现
我的三个datanode总是只有两个在运行一开始我以为是我的防火墙没有关,然后才出现这样的情况,但是我看了一下发现,我三个虚拟机的防火墙都是关了的。那为什么会有以下这情况呢?然后看到了其他博主说可能是因为datanodeUuid是一样的,发生了冲突。机智的我突然想到-----我的ynyee3是ynyee2克隆过来的,那么又是在一个集群中,那datanodeUuid肯定是一样的,那么就发生冲突!!!那么就能解释为什么我的三个虚拟机只有两个datanode运行成功,也能解释为什么每次都是ynyee2和yn原创 2021-06-13 21:07:27 · 2414 阅读 · 10 评论