hadoop
@~~~~小飞
这个作者很懒,什么都没留下…
展开
-
项目问题总结
项目1中出现以下几个问题的解决方案发生数据倾斜:1、大部分的task,都执行的特别快,剩下的几个task,执行的特别特别慢,前面的1s执行5个,但是最后需要执行2个小时2、运行的时候,其他task都执行完了,也没什么特别的问题,但是有的task,就会突然间报OOM,JVM Out of Memory,内存溢出,反复执行几次到某个task都跑不通,最后就挂掉了ps:不能单纯靠偶然的内存溢出就...原创 2020-03-24 11:13:18 · 709 阅读 · 0 评论 -
linux安装hadoop生态圈之SBT安装
安装sbt本文方法很简单 很简单centos 6.5sbt 1.3.3Spark中没有自带sbt,需要手动安装sbt,我的方法是先安装sdk再安装sbt$ curl -s "https://get.sdkman.io" | bash$ source "$HOME/.sdkman/bin/sdkman-init.sh"$ sdk versionThensdk instal...原创 2019-11-13 22:37:56 · 287 阅读 · 0 评论 -
hadoop集群DataNode与NameNode启动不起来
hadoop集群DataNode与NameNode启动不起来hadoop集群 start-all.sh 之后,DataNode节点没有启动起来本人的DataNode节点可能是我使用hadoop dfs -format次数太多了,我只是一个大数据的小学生哪知道这么多。然后DataNode就启动不起来了。造成DataNode启动不起来我的解决方案是将tmp文件下存放的临时文件都删除了 ...原创 2019-11-11 23:13:44 · 797 阅读 · 0 评论 -
HDFS解释一下安全模式
HDFS在slave节点上创建信息,失败显示强制关闭安全模式命令hadoop dfsadmin -safemode leave显示ok了!解释一下原理当前处于安全模式之下。1、什么是安全模式安全模式是HDFS处于一种特殊状态,在这种状态下HDFS只接受读取文件,不能进行创建和修改等请求在NameNode节点启动的时候,HDFS会进入安全模式,但是在DataNode节点启动的...原创 2019-11-11 16:31:17 · 199 阅读 · 0 评论 -
JAVA_HOME is not set
关于JAVA_HOME没有设置本人是在配置spark集群的时候显示 JAVA_HOME is not set具体如下:但是我们在cd $JAVA_HOME还是能够进去。查阅网上资料有各种各样的解决办法 但是看着没啥关系于是我猜测是没有找到java路径 我就在conf文件下的spark-env.sh 加上exportexport SPARK_MASTER_IP=mast...原创 2019-11-09 15:03:53 · 4239 阅读 · 0 评论 -
zookeeper无法正常启动
你赞赞 我赞赞,世界是如此美好zookeeper单节点无法启动的问题当你看日志文件没有看出遇到的问题时,你可以这样排查一波检测一点点排除看看哪里出了问题查看是否安装JVMjavacjavajava -version上面的都可以查看查看节点是否占用netstat -apn | grep 2181lsof -i:2181上面任意一个命令都可以查看如果有,则kill了它...原创 2019-10-29 17:20:31 · 525 阅读 · 0 评论 -
hadoop大数据平台搭建
大数据平台搭建大数据平台搭建虚拟机环境准备修改ip,映射IP地址ssh无密码通信同步时间关闭防火墙安装jdkhadoop平台正式搭建安装hadoop安装 kafka安装spark大数据平台搭建zookeeper+kafka+spark + Hadoop+ yarn虚拟机环境准备我们在搭建大数据分布式系统之前需要对软件和虚拟机的环境机型准备:修改ip,映射IP地址1.修改主机名vim ...原创 2019-08-11 17:59:37 · 4275 阅读 · 4 评论