- 博客(5)
- 收藏
- 关注
RSS订阅转载 错误Name node is in safe mode的解决方法
将本地文件拷贝到hdfs上去，结果上错误：Name node is in safe mode这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。可以通过
2021-03-07 15:41:46
419
原创 Hadoop获取切片信息:FileInputFormat.class中getSplits方法
FileInputFormat.class中getSplits方法实现如下 public List<InputSplit> getSplits(JobContext job) throws IOException { Stopwatch sw = new Stopwatch().start(); long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job)); long maxSize =
2021-03-05 18:29:50
269
原创 hadoop切片大小参数设置以及在java中如何实现
查看控制切片大小实现的文件FileInputFormat.java的位置在FileInputFormat.java中控制切片大小的实现如下:minSize的默认值是1MB,blockSize的默认值是128MB,maxSize默认值为long型的最大值.假设设置切片大小为256MB,可以通过minSize参数设置,.由于maxSize和blockSize取最小值,如果设置maxSize为256MB,和默认blockSize(128MB)比较取最小值为blockSize,再和默认minSize(1M
2021-03-05 17:02:13
1056
原创 关于hadoop配置完成后无法通过主机名:50070访问web网站的解决方法
一、通过jps查看datanode、nodename是否部署成功二、排查是否是防火墙的问题三、查看本地Windows下的C:\Windows\System32\drivers\etc目录中的hosts文件，打开host文件将写入主机名和对应的ip地址如:接着修改liunx系统下hosts,写入ip地址以及对应的主机名 vi /etc/hosts...
2021-03-01 20:42:31
807
1
转载 关于HadoopHA高可用格式化hdfs后datanode启动不了的问题
搭建好Hadoop HA 高可用集群启动采用格式化NameNode后，再次启动没有DataNode。原因是：每一次format主节点namenode，dfs/name/current目录下的VERSION文件会产生新的clusterID、namespaceID。但是如果子节点的dfs/name/current仍存在，hadoop格式化时就不会重建该目录，因此形成子节点的clusterID、namespaceID与主节点（即namenode节点）的clusterID、namespaceID不一致。解决方法
2021-03-01 20:25:58
592
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人