![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
初步学习
LinLin_Hou_CCq
专心 专注 专业
展开
-
Linux目录结构
linux目录结构root:存放root用户的相关用户home:存放普通用户的相关文件bin:存放命令目录sbin:要有一定权限才能使用的命令mnt:默认挂载目录etc:配置文件var:存放经常变化的文件boot:引导文件,跟系统相关。usr:默认安装文件夹dev:device,设备,访问外部设备的端口opt:安装第三方软件时的默认目录。挂载:linux没有磁盘分区概念,磁转载 2017-12-25 21:16:35 · 188 阅读 · 0 评论 -
有关HDFS程序设计:HDFS Shell命令行常见操作
在/usr/local/hadoop/etc/hadoop 目录下:帮助相关命令1.hdfs dfs 可以显示hdfs常用命令hadoop@master:/usr/local/hadoop/etc/hadoop$ hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst...原创 2018-03-25 20:08:23 · 879 阅读 · 0 评论 -
Hadoop的I/O操作(压缩、序列化、基于文件的数据结构)
一、序列化序列化就是把结构化对象,转换成字节流序列或者其他数据传输协议以便于永久化存储和网络传输。反序列化是序列化的逆过程,即将收到的字节流序列、数据传输协议等,转换成结构化的对象。Hadoop中用于多节点间进程通信的是RPC(远程过程调用)。RPC序列化格式如下:1、格式紧凑,节省资源,由于带宽和存储是数据中心中的最稀缺的资源,我们必须尽一切可能缩小传递信息的大小和存储量,提高网络带宽利用率2、...原创 2018-06-09 17:07:01 · 1096 阅读 · 0 评论