![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据平台日常bug
aierate
这个作者很懒,什么都没留下…
展开
-
CDH详细安装配置教程
CDH详细安装配置教程:https://blog.csdn.net/weixin_37680513/article/details/111713387转载 2021-03-25 10:54:45 · 190 阅读 · 0 评论 -
flink on yarn
flink on yarn 模式配置问题总结近期想把flink从standlong模式下改成yarn模式。遇到了一些问题。分享一下。向帮助过我的大哥们致敬。1.slot数量为0.分配不到slot ?因为我修改了flink-conf-yaml文件里面的内容,添加了taskmanager.network.memory.fraction: 0.1taskmanager.network.memory.min: 268435456 taskmanager.network.memory.max: 429原创 2021-03-22 21:50:46 · 351 阅读 · 0 评论 -
Hadoop完全分布式集群配置全流程
写在前面本文采用的方法是先配置好单台机器,然后克隆,只需要修改克隆机器的mac、ip、hostname就可以完成完全分布式集群的搭建。slave文件控制datanode节点的位置。本文将resourcemanager节点放在Aslave102,secondnamenode放在Aslave103节点。原因是resourcemanager消耗大量内存,secondnamenode可以做到namenode的备份。1.虚拟机准备为虚拟机准备了,20GB内存。400G硬盘。Centos6.10操作系统原创 2020-07-19 13:35:46 · 743 阅读 · 0 评论 -
hadoop 节点改变时,主要修改的xml文件有哪些?
一、1.core-site.xml 确定 NameNode的位置,tem.dir临时缓存的位置2.slaves : 记录datanode的位置,不可以包括namenode的位置3.yarn-site:Nodemanager、resourceManager4.hdfs-site.xml : 记录副本数,secondary namenode。二、根据需要,修改etc/hosts 目录下的主机名称和ip对...原创 2020-06-04 21:01:47 · 183 阅读 · 0 评论 -
修改hadoop集群的ip地址需要修改的位置包括:
vim etc/hosts #配置ip和主机名的对应关系。vim /etc/sysconfig/network-scripts/ifcfg-eth0 #修改ip和网关service network restart #重启网关。全部修改完后启动hadoop查看集群的启动情况,并上传运行系统实例,查看是否正常。...原创 2020-06-04 10:14:22 · 2008 阅读 · 0 评论 -
当节点重启网卡报错:
当节点重启网卡报错:Bringing up interface eth0: Error: No suitable device found: no device found for connection 'Systemhttps://blog.csdn.net/weibin_6388/article/details/84821760转载 2020-06-04 10:04:45 · 275 阅读 · 0 评论 -
从IDEA到Spark:一个小demo
1.配置maven链接:配置maven和仓库设置maven源阿里云。2.新建maven项目1.修改man路径:自己下载的maven安装位置,如Maven home directory: C:/MySoftware/apache-maven-3.6.3-bin/apache-maven-3.6.3User settings file: C:\MySoftware\apache-maven-3.6.3-bin\apache-maven-3.6.3\conf\settings.xmlLocal原创 2020-06-02 09:38:07 · 320 阅读 · 0 评论 -
spark集群启动后8080端口不显示slave运行情况
当hadoop,spark集群在运行的时候,如果出现断电情况,系统会进入安全模式。因此,解决办法是关闭hadoop的安全模式。1、 在安全模式下输入指令: hadoopdfsadmin-safemodeleave 即可退出安全模式。2.关闭防火墙: systemctl stop firewalld (后面忘了,按table键就可以了)3.关闭集群 $sbin/stop-master.sh (关闭spark...原创 2020-05-25 17:30:54 · 977 阅读 · 1 评论