2017年10月_杨士超

12月 10月 09月 07月 06月 03月 02月 01月

原创 BigData进阶--hdfs常用命令

1.将/a目录移动到/b下，并重命名为cmv /a /b/c其实在文本模式中要重命名文件或目录，只需要使用mv命令就可以了，比如说要将一个名为abc的文件重命名为1234：mv abc 12342.删除某文件rm -f路径文件3.rz上传 sz下载4.打包单个文件压缩打包 tar czvfmy.tar.gz file1多个文件压

2017-10-31 16:25:52 470 1

原创 BigData进阶--hdfs中SecondaryNameNode的作用

首先需要明确的是SecondaryNameNode不是NameNode的备份，只是解决NameNode的部分问题。一、明确NameNode的作用NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。上面的这张图片展示了NameNode怎么把元数据保存到磁盘上的。

2017-10-31 16:25:17 2205

原创 Java实现Spark程序中的坑坑洼洼

最近在Windows环境下搭建了一套Spark的环境，用Java实现了几个基于Spark的程序，这个过程中遇见了很多问题，可能是由于不太熟悉，所以在解决问题的过程中花费了很长的时间，所以小编把遇到的问题整理在这里，希望可以帮大家少走弯路：1.错误提示：Exception in thread"main" java.lang.SecurityException: class"javax

2017-10-12 17:39:41 619 1

高级软考真题（17.11-19.05）.zip

高级软考从2017年11月进行了改版，上传的文档中仅包括2017年11月改版以来到2019年05的真题及解析，下载后可直接打印。答案解析准确，详细，若需要2017年11月之前的可直接在我的博客下方留下邮箱，我会把其他年份的真题和解析都发送给大家。

2019-12-19

hadoop/bin文件

解决hadoop中java.io.IOException: Could not locate executable ${hadoop解压路径}\bin\winutils.exe in the Hadoop binaries的问题；

2017-10-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人