![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
@~~~~小飞
这个作者很懒,什么都没留下…
展开
-
项目问题总结
项目1中出现以下几个问题的解决方案 发生数据倾斜: 1、大部分的task,都执行的特别快,剩下的几个task,执行的特别特别慢,前面的1s执行5个,但是最后需要执行2个小时 2、运行的时候,其他task都执行完了,也没什么特别的问题,但是有的task,就会突然间报OOM,JVM Out of Memory,内存溢出,反复执行几次到某个task都跑不通,最后就挂掉了 ps:不能单纯靠偶然的内存溢出就...原创 2020-03-24 11:13:18 · 695 阅读 · 0 评论 -
linux安装hadoop生态圈之SBT安装
安装sbt 本文方法很简单 很简单 centos 6.5 sbt 1.3.3 Spark中没有自带sbt,需要手动安装sbt,我的方法是先安装sdk再安装sbt $ curl -s "https://get.sdkman.io" | bash $ source "$HOME/.sdkman/bin/sdkman-init.sh" $ sdk version Then sdk instal...原创 2019-11-13 22:37:56 · 279 阅读 · 0 评论 -
hadoop集群DataNode与NameNode启动不起来
hadoop集群DataNode与NameNode启动不起来 hadoop集群 start-all.sh 之后,DataNode节点没有启动起来 本人的DataNode节点可能是我使用 hadoop dfs -format 次数太多了,我只是一个大数据的小学生哪知道这么多。然后DataNode就启动不起来了。 造成DataNode启动不起来 我的解决方案是 将tmp文件下存放的临时文件都删除了 ...原创 2019-11-11 23:13:44 · 783 阅读 · 0 评论 -
HDFS解释一下安全模式
HDFS在slave节点上创建信息,失败显示 强制关闭安全模式命令 hadoop dfsadmin -safemode leave 显示 ok了! 解释一下原理 当前处于安全模式之下。 1、什么是安全模式 安全模式是HDFS处于一种特殊状态,在这种状态下HDFS只接受读取文件,不能进行创建和修改等请求 在NameNode节点启动的时候,HDFS会进入安全模式,但是在DataNode节点启动的...原创 2019-11-11 16:31:17 · 191 阅读 · 0 评论 -
JAVA_HOME is not set
关于JAVA_HOME没有设置 本人是在配置spark集群的时候显示 JAVA_HOME is not set 具体如下: 但是我们在 cd $JAVA_HOME 还是能够进去。 查阅网上资料有各种各样的解决办法 但是看着没啥关系 于是我猜测是没有找到java路径 我就在conf文件下的 spark-env.sh 加上export export SPARK_MASTER_IP=mast...原创 2019-11-09 15:03:53 · 4191 阅读 · 0 评论 -
zookeeper无法正常启动
你赞赞 我赞赞,世界是如此美好 zookeeper单节点无法启动的问题 当你看日志文件没有看出遇到的问题时,你可以这样排查一波 检测一点点排除看看哪里出了问题 查看是否安装JVM javac java java -version 上面的都可以查看 查看节点是否占用 netstat -apn | grep 2181 lsof -i:2181 上面任意一个命令都可以查看 如果有,则kill了它 ...原创 2019-10-29 17:20:31 · 479 阅读 · 0 评论 -
hadoop大数据平台搭建
大数据平台搭建大数据平台搭建虚拟机环境准备修改ip,映射IP地址ssh无密码通信同步时间关闭防火墙安装jdkhadoop平台正式搭建安装hadoop安装 kafka安装spark 大数据平台搭建 zookeeper+kafka+spark + Hadoop+ yarn 虚拟机环境准备 我们在搭建大数据分布式系统之前需要对软件和虚拟机的环境机型准备: 修改ip,映射IP地址 1.修改主机名 vim ...原创 2019-08-11 17:59:37 · 4120 阅读 · 4 评论