- 博客(3)
- 资源 (3)
- 收藏
- 关注
原创 BigData进阶--hdfs常用命令
1.将/a目录移动到/b下,并重命名为c mv /a /b/c 其实在文本模式中要重命名文件或目录,只需要使用mv命令就可以了,比如说要将一个名为abc的文件重命名为1234: mv abc 1234 2.删除某文件 rm -f路径文件 3.rz上传 sz下载 4.打包 单个文件压缩打包 tar czvfmy.tar.gz file1 多个文件压
2017-10-31 16:25:52 498 1
原创 BigData进阶--hdfs中SecondaryNameNode的作用
首先需要明确的是SecondaryNameNode不是NameNode的备份,只是解决NameNode的部分问题。 一、明确NameNode的作用 NameNode主要是用来保存HDFS的元数据信息,比如命名空间信息,块信息等。当它运行的时候,这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。 上面的这张图片展示了NameNode怎么把元数据保存到磁盘上的。
2017-10-31 16:25:17 2344
原创 Java实现Spark程序中的坑坑洼洼
最近在Windows环境下搭建了一套Spark的环境,用Java实现了几个基于Spark的程序,这个过程中遇见了很多问题,可能是由于不太熟悉,所以在解决问题的过程中花费了很长的时间,所以小编把遇到的问题整理在这里,希望可以帮大家少走弯路: 1.错误提示: Exception in thread"main" java.lang.SecurityException: class"javax
2017-10-12 17:39:41 647 1
高级软考真题(17.11-19.05).zip
2019-12-19
hadoop/bin文件
2017-10-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人