lzop如何查看文件大小

最新推荐文章于 2019-03-25 15:57:04 发布
最新推荐文章于 2019-03-25 15:57:04 发布
阅读量394 收藏
点赞数
分类专栏： Hadoop 文章标签： 数据仓库 hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhzblog/article/details/38122877
版权

我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile，MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意，第二是它只需要少量effort就能支持可切分（生成LZO文件后跑单机或分布式建索引程序），这样能充分利用MapReduce分而治之的编程思想和数据本地性。
     之前要查看已经put到HDFS的LZO文件，都是先get到本地，再用lzop命令解压出来查看，但是有时候我们只是想预览下lzo文件的几行信息，前面一种方式就比较麻烦了，替代方案可以使用如下

最低0.47元/天 解锁文章
Chuck_lee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
解压tzz文件
WEBELIEVECANWIN的博客
01-17 3341
linux： 1、lzop -d -o xxx.tar xxx.tzz 2、mkdir xxx 3、tar -xf xxx.tar -C ./xxx windows： 1、打开lzop.exe所在目录 2、把要解压的tzz文件复制到该目录下 3、lzop.exe -d -S .tzz xxx.tzz 4、用7zip解压
安装lzop
yyp872的专栏
03-19 9012
lzop是开源的压缩算法框架。具体的介绍这里不再赘述，请去网上搜索。本文书写如何在ubuntu上安装lzop.  所需软件：gcc、g++，Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已经集成的有。  安装lzo:   hadoop@ubuntu:~$wget http://www.oberhumer.com/opensource
hadoop上命令行查看lzo、gz、bz文件
beijiqieyx的博客
03-25 3953
hadoop上命令行查看lzo、gz、bz文件 HDFS上的文件可能是压缩的，所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。 我们用命令行查看HDFS上压缩文件，也是可以的。 查看 HDFS 上 lzo 文件的命令 博客已经迁移到github上，请访问：https://sukbeta.github.io/hadoop-lzo-gz-bz2 ...
Linux下lzop命令安装
weixin_34220834的博客
10-05 636
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61...
lzop-1.03.zip
08-01
4. **命令行界面**：LZOP提供了简单的命令行接口，用户可以通过简单的命令进行压缩、解压缩以及查看文件等操作。 5. **可选的CRC校验**：为了保证数据的完整性，LZOP允许用户在压缩文件时附加一个CRC校验，用于检测...
Go-go-lzop-生成LZOP文件兼容LZO压缩库
08-14
6. **元数据和头部信息**：LZOP文件格式包含了一些元数据，如文件的原始大小、CRC校验和等。Go-lzop库会自动处理这些信息，确保生成的LZOP文件与LZO库兼容。 7. **自定义选项**：尽管Go-lzop的API相对简单，但还是...
lzop-1.0.3
11-04
在Android开发中，lzop主要用于构建过程中的文件压缩，特别是在AOSP（Android Open Source Project）编译过程中。当系统提示"lzop: not found"时，意味着编译环境缺少lzop这个工具，这将导致编译流程无法正常进行，...
lzop linux
05-09
- 查看LZOP版本： ``` lzop --version ``` 在Android 4.0的开发和维护中，熟悉并熟练运用LZOP工具能够提高工作效率，优化资源利用，为用户提供更好的体验。了解如何有效利用这种强大的压缩工具是每个Linux和...
lzop-1.04.tar.gz
02-04
tar通常用于将多个文件和目录打包成单个文件，方便管理和传输，而gz或lzop等压缩工具则用于进一步减小文件大小。 解压这个文件需要两个步骤。首先，使用tar命令来解压归档部分，恢复出原始的lzop-1.04目录结构。...
lzop最快的解压缩软件
08-26
lzop是一个基于LZO压缩库的压缩软件。LZO是一个超级强大的压缩库，最大的特点就是压缩/解压速度极快。
Linux查看磁盘属性、文件夹/文件大小的命令 --- df和du
Experience set us apart!
11-29 1万+
在Linux中我们使用df命令来查看磁盘的属性，使用du命令来查看文件夹和文件的属性，带上-h使输出更加友好！
ls显示文件大小时显示单位
weixin_33898876的博客
07-26 2219
在Linux中显示文件大小的时候，通常的做法是使用“ls -l”，显示的大小是文件的字节大小。 但是，如果文件比较大的话，显示起来不是特别易读，这个时候，可以使用“ls -lh”，就可以使用比较接近文件大小的单位显示文件的大小，如下： [www.linuxidc.com@linux bin]$ ls -lhtotal 565M-rwxr-xr-x 1 billing_dx BILLING 1....
SecureCRT萌新常用命令及Linux命令大全整理
热门推荐
周无缺啊的博客
12-30 3万+
SecureCRT常用命令，Linux常用命令
Linux查看文件大小的几种方法
愿我如星君如月 ... 夜夜流光相皎洁 ...
05-12 1297
转自：https://blog.csdn.net/xiongyangg/article/details/54809810stat命令stat filepathxanarry@ThinkPad:/$ stat ~/Downloads/jdk-8u60-linux-x64.tar.gz File: '/home/xanarry/Downloads/jdk-8u60-linux-x64.tar.gz...
如何在Ubuntu 12.04/Ubuntu16.04下安装lzop压缩工具源码
不积跬步，无以至千里！
10-10 1万+
lzop是一款与gzip很类似的文件压缩工具，它使用lzo压缩库来提供服务，与gzip工具相比，它的最大优势就是极快的压缩速度和解压速度（在相同的压缩比例的前提下）。那么， 在linux（ubuntu）系统下，要如何编译和安装lzop工具呢？请看本文所述。
Hadoop2.7.1和Hbase0.98添加LZO压缩
dotedy的博客
01-07 348
1，执行命令安装一些依赖组件  yum install -y hadoop-lzo lzo lzo-devel hadoop-lzo-native  lzop  2， 下载lzo的源码包并解压  tar -zxvf lzo-2.09.tar.gz  3，在当前目录新建一个lzo目录，存储编译后的lzo文件  进入lzo-2.09目录  依次执行命令：  export CFLA
hadoop中使用lzo的压缩
xiaolang85的专栏
03-08 1万+
在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的输入是一个文件作为一个map。但是sequence
linux怎么用lzop
最新发布
06-11
lzop是Linux下的一个LZO压缩和解压缩工具。你可以使用以下命令来压缩和解压文件： 1. 压缩 ``` lzop file ``` 该命令将file文件进行LZO压缩，并生成一个...希望这些命令可以帮助你使用lzop进行文件的压缩和解压缩。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值