- 博客(3)
- 收藏
- 关注
RSS订阅原创 如何恢复在HDFS中删除的文件
在大数据平台中，hdfs里面如果误删除文件后，我们需要对文件进行恢复，但是如果没有做相关配置，或者预先做设置，则会导致灾难性的后果，o(╥﹏╥)o 我们可以通过下面几种方式来恢复误删除文件： 在垃圾回收站中恢复：hdfs中提供类似其他文件系统中的垃圾回收站的功能，被删除的文件会被移动到该回收站中，也就是有的同学想要腾出空间，使用了hadoop fs -rmr ...
2018-04-20 08:43:34
5538
原创 Hadoop单节点中副本存放策略
在实际的大数据生产环境中，每个数据节点也就是DataNode，会配置多个数据磁盘，每个磁盘对应一个数据目录，将这些数据目录配置到DataNode的hdfs-site.xml（dfs.datanode.data.dir），使用逗号分隔多个数据目录，这样做的好处可以使数据节点的增加读写效率，毕竟每个目录对应单独的磁盘IO，不互相占用或竞争，也可以增加数据节点的高可用性，通过配置dfs.d...
2018-04-20 08:41:48
948
原创 Hadoop安装过程中的HA切换不成功的坑
在hadoop安装配置过程中，有很多同学按照网上教程配置完成，并启动HA即两台NameNode后，看到其中一台服务器是active，另一台则是standby模式，而且文件也可以正常写入到hdfs中，但是并没有去做HA的切换测试，当在测试或者开发中发现出现两个standby的namenode后才知道HA没有正常工作，即一台active的namenode挂掉后，另一台namenode也...
2018-04-20 08:40:34
1456
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人