大数据
袁缺
四川辣椒人
展开
-
搭建spark遇到的问题,提示内存不足,已解决
问题描述:WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 提示内存和资源不足,未连接。这个问题卡了几天了,刚开始以为是worker节点内存有问题,两台服务器有60G的内存,应该不可能是内存的问题,为啥它提示是...原创 2020-07-02 15:28:02 · 1911 阅读 · 0 评论 -
初识HDFS(有关HDFS、NameNode和DataNode的详解)
概览 首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三个),以此来实现多机器上的多用户分享文件和存储空间。 HDFS特点: ① ...转载 2018-11-19 15:15:04 · 5480 阅读 · 1 评论