大数据
问君何能尔?心远地自偏
这个作者很懒,什么都没留下…
展开
-
centOS7上安装eclipse
回复放入反绒皮一发你个部位不反复部分U币日俄日发你的积分黑别人原创 2020-03-26 10:10:06 · 361 阅读 · 0 评论 -
HDFS文件系统的根目录和用户主目录解析
HDFS文件系统的根目录和用户主目录分别是什么?根据这四个截图,你能得出什么结论?HDFS文件系统的根目录是/,用户主目录是/user/[hadoop用户名]根据上面的截图,所有的文件都放在根目录及其子目录下。/tmp用于hadoop操作的临时存储,/user下的是用户空间,/data在截图中/data/input应该是存放从本地上传至HDFS文件系统的文件,/data/output应该...原创 2020-03-05 09:20:56 · 14834 阅读 · 0 评论 -
dfs.namenode.name.dir 和dfs.datanode.data.dir目录
dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录?dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录?有何作用?我们可以在本地文件系统中找到HDFS文件系统中文件或目录的位置吗?我们可以在本地文件系统的以上两个目录中找到HDFS文件系统中某个具体的文件或目录的位置吗?是否存在一一映射的关系...原创 2020-03-05 09:17:59 · 6611 阅读 · 0 评论 -
MapReduce为什么要有自定义的数据类型
MapReduce数据类型数据类型都要实现Writable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储,也就是它要进行序列化和反序列化。自定义key数据类型的时候,因为需要对key进行排序,需要继承java中的比较器,所以可以直接继承WritableComparable(WritableComparable继承了Writable和Comparable)。基本数据类型:Bo...原创 2020-03-05 09:12:40 · 232 阅读 · 0 评论