bigdata_problems
大数据开发遇到的问题
最佳第六六六人
一只威武的大数据架构攻城狮
展开
-
IDEA编译java提示找不到符号
问题:IDEA中报找不到符号的错误。原因:使用lombok插件失效。idea上下载的插件一般都是最新版本的plugin,可能与旧版本的lombok依赖有冲突。解决方式:在以下位置加上该配置"-Djps.track.ap.dependencies=false"...原创 2021-02-04 23:30:25 · 526 阅读 · 1 评论 -
Ubuntu下切换不同版本python
当遇到SyntaxError:invalid syntax错误,错误的意思是“非法语句”的意思,再python中我遇到的是python版本不对,导致的语法错误。alias命令python #会显示当前的python版本alias python=python3 #切换到python3版本...原创 2020-10-08 14:22:02 · 191 阅读 · 0 评论 -
hadoop集群启动命令汇总
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManagersbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、Secondary原创 2020-10-07 00:26:10 · 2381 阅读 · 0 评论 -
web端HDFS 看不到其他的datanode节点
还出现了namenode节点无法连接到resourcemanager这个节点,然后运行mapreduce程序后rm节点的datanode没了就。我的解决方法是:删掉各个节点上的data和logs文件夹重新farmat一遍namenode原创 2020-10-07 00:25:13 · 455 阅读 · 0 评论 -
伪分布式下执行mapreduce程序出现sleeptime错误
我的理解是因为配置了yarn让mapreduce程序运行在yarn上了,这个时候不启动yarn就运行mapreduce程序就会出现错误!原创 2020-10-07 00:24:28 · 90 阅读 · 0 评论 -
无法下载Browse Directory文件
把你 hadoop hosts 文件 主机地址映射,放你本地一份。本地的路径C:\Windows\System32\drivers\etc\hosts原创 2020-10-07 00:23:49 · 511 阅读 · 0 评论 -
无法访问50070
Hadoop安装成功之后,访问不了web界面的50070端口先查看端口是否启用[hadoop@s128 sbin]$ netstat -ano |grep 50070然后查看防火墙的状态,是否关闭,如果没有,强制性关闭查看防火墙状态:[hadoop@s128 sbin]$ service iptables status关闭防火墙 chkconfig iptables off service iptables stop...原创 2020-10-07 00:23:05 · 157 阅读 · 0 评论