hbase 压缩配置

于 2022-02-23 13:18:26 发布
阅读量471 收藏 2
点赞数
分类专栏： hbase 文章标签： hbase hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43214644/article/details/123087738
版权

对hbase 的hfile 进行snappy压缩的配置：

1> hadoop集群必须先配置好snappy压缩 参考http://hymanliu.iteye.com/blog/2224330

2>在hbase的lib/native目录下一个软链接 Linux-amd64-64 -> $HADOOP_HOME/lib/native 重启hbase集群。

Shell代码 收藏代码
mkdir -p $HBASE_HOME/lib/native
cd $HBASE_HOME/lib/native
ln -s $HADOOP_HOME/lib/native Linux-amd64-64
验证：

Java代码 收藏代码
$HBASE_HOME/bin/hbase org.apache.hadoop.util.NativeLibraryChecker

3>以在你的hbase-site.xml加上配置 hbase.regionserver.codecs 值你需要的codecs。例如，如果hbase.regionserver.codecs 的值是 snappy,lzo,gz 同时lzo不存在或者没有正确安装， RegionServer在启动的时候会提示配置错误。多个用","隔开。

格格巫 MMQ!!
关注
专栏目录
博客
ftp连接命令linux的简单介绍
10-18 4040
oPort=远程端口号sftp get /var/www/fuyatao/index.php /home/fuyatao/。这条语句将从远程主机的 /var/www/fuyatao/目录下将 index.php。这条语句将把本地 /home/fuyatao/downloads/目录下的 linuxgl.pdf文件上传至远程主机/var/www/fuyatao/ 目录下。ls -l 普通文件就是以 - 开头，文件夹以 d 开头，grep 后面接正则表达式：^- 以 - 开头的匹配。
博客
yarn启动后用jps查看没有resourcemanager
10-15 884
1.1.添加：如下：再次启动yarn就有了，如下：2.
博客
Linux技巧：修复硬盘坏道
10-07 3137
Last cylinder or +size or +sizeM or +sizeK (51-125, default 125): +200M 注：这个是定义分区大小的，+200M 就是大小为200M；警告：删除分区时要小心，请看好分区的序号，如果您删除了扩展分区，扩展分区之下的逻辑分区都会删除；Last cylinder or +size or +sizeM or +sizeK (1-125, default 125): +200M 注：指定分区大小，用+200M来指定大小为200M。
博客
SDN介绍
09-14 1148
想当年，集群技术多火，STP和VRRP技术多经典，还不是慢慢被淘汰，成为了历史，只要不适应业务发展的需要，再好的技术都可能被淘汰。三是小型的数据中心网络，一旦部署后完成后，扩容和变更机会是比较少的，人工操作并不复杂，引入SDN属于大材小用，给数据中心带来的真正实惠不对，即便是那些大型的数据中心网络，扩容几台网络设备，一个熟练的网络工程师也可以很快完成，并不比SDN的方式慢多少，SDN虽是自动化部署，但出了问题排查起来也难度不小，Underlay和Overlay网络层面都要排查，网络问题复杂度增加了。
博客
Sftp登录时报received message too long 1416128883如何解决？Ensure the remote shell produces no output for non-
06-13 3079
但是，实际上文件系统也可能仅仅是一种访问数据的界面而已，实际的数据是通过网络协议（如NFS、SMB、9P等）提供的或者内存上，甚至可能根本没有对应的文件（如proc文件系统）。用户使用文件系统来保存数据，只需要记住这个文件的所属目录和文件名。在写入新数据之前，用户不必关心硬盘上的那个块地址没有被使用，硬盘上的存储空间管理（分配和释放）功能由文件系统自动完成，用户只需要记住数据被写入到了哪个文件中。在计算机领域，SSH文件传输协议，即SFTP，它是一数据流连接，提供文件访问、传输和管理功能的网络传输协议。
博客
liunx卸载磁盘后重新挂载
05-15 662
root@localhost]# parted /dev/sdb 使用parted来对GPT磁盘操作，进入交互式模式。[root@localhost]# mkfs.xfs -f /dev/sdb1 格式化分区xfs格式。[root@localhost]# mkdir /data1 在根目录下新建挂载硬盘所需文件夹。[root@localhost]# vi /etc/fstab 在fstab表末添加下列参数。[root@localhost]# df -Th 查看分区挂载情况。
博客
5G NR 网络切片是什么意思
03-28 1885
b） CSC-A可以使用从CSP-A获得的网络切片来支持自己的通信服务，或者可以向获得的NSaaS添加额外的网络功能，并将得到的组合作为一个新的网络切片提供给CSP-b。网络切片可以理解为支持特定使用场景或商业模式的通信服务要求的一组逻辑网络功能的集合，是基于物理基础设施对服务的实现，这些逻辑网络功能可以看作是由EPC下的网络功能（NetworkFuncTIon）分解而来的一系列子功能（Networksub-FuncTIon）。与向终端用户提供的通信服务不同，在NSaaS中，所提供的服务是实际的网络切片。
博客
json文件怎么写注释
03-23 4289
4、我们可以使用重复定义的方法来添加注释。json文件解析后，是使用最后定义的值的。2、一个json文件，其实就是一个js脚本文件，我们可以使用//的单行注释符。5、如果不使用重复值，我们也可以专门使用//的键来作为注释键。1、 使用编辑器打开json文件，现在是没有注释内容的。3、也可以使用/* */符号来支持多行注释。6、添加完注释后，把文件保存就行了。（如果没有的话需要下载安装）
博客
xml文件的注释展示
03-23 1351
即能够在HTML文件之外将数据存储在XML文档中，这样可以使开发者集中精力使用HTML做好数据的显示和布局，并确保数据改动时不会导致HTML文件也需要改动，从而方便维护页面。XML也能够将数据以“数据岛”的形式存储在HTML页面中，开发者依然可以把精力集中到使用HTML格式化和显示数据上。基于XML可以在不兼容的系统之间交换数据，计算机系统和数据库系统所存储的数据有多种形式，对于开发者来说，最耗时间的工作就是在遍布网络的系统之间交换数据。xml文件的注释格式： ，注释不能嵌套定义。
博客
欧拉操作系统和linux区别
03-17 3721
linux 有自己的API。windows也有自己的API例如：linux下打开文件的函数是open()，而windows下却是fopen(),这并不能代表C语言有什么区别，只是说平台不同定义的API函数不同。而Linux发行套件系统才是咱们常说的Linux操作系统，也即是由Linux内核与各种常用软件的集合产品，全球大约有数百款的Linux系统版本，比较有名的有RedHat、CentOS、Ubuntu等。一般来说，我们平时说Linux指的是Linux系统内核，而centos是Linux发行套件系统。
博客
EasyConnect虚拟IP地址未分配
03-08 3506
工作中遇到EasyConnect虚拟IP地址未分配，导致无法正常连接服务器进行调测工作。
博客
MySQL修改密码的3种方式以及启动方式
02-10 2102
注意：下图修改密码的命令中 -uroot 和 -proot 是整体，不要写成 -u root -p root，-u 和 root 间可以加空格，但是会有警告出现，所以就不要加空格了。使用 mysqladmin 命令修改 MySQL 的 root 用户密码格式为 mysqladmin -u用户名 -p旧密码 password 新密码。在使用数据库时，我们也许会遇到 MySQL 需要修改密码的情况，比如密码太简单需要修改等。，其中 username 为要修改密码的用户名，newpwd 为要修改的新密码。
博客
Lftp for linux 编译安装
02-09 1790
默认命令安装路径/软件路径/lftp-4.9.2/src/lftp （可在 ./configure --prefix=“xxxxxxx” 自定义）make[2]: 离开目录“/root/lftp-4.9.2/contrib”make[2]: 进入目录“/root/lftp-4.9.2/tests”make[2]: 离开目录“/root/lftp-4.9.2/tests”make[2]: 离开目录“/root/lftp-4.9.2/src”make[2]: 离开目录“/root/lftp-4.9.2/po”
博客
com.jcraft.jsch.JSchException: Session.connect: java.io.IOException: End of IO Stream Read
02-09 4170
2）上网搜寻这个错误，发现国内遇到这个问题不多。国外stackoverflow网站上有贴出一样的报错，但是引用的jar版本不同，并且答案指出升级到jsch-0.1.54问题就不存在了。1）经过多次测试，排查问题。推测是环境ssh版本问题，由于客户环境不可见，无法获得sftp服务器ssh的版本。在sftp登录时，设置完ip，port,user和pwd之后。3）小心测试，解决问题。
博客
解决win10相机无法使用，相机崩溃问题
01-29 4235
6、进入系统注册表后，找到“HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows Media Foundation\Platform”文件夹下，鼠标在右边窗口空白处右键单击，选择“新建”-》“DWORD(32位)值”3、在相机设置界面将“此设备的相机访问权限”状态更改为打开状态，打开后，将“允许应用访问你的相机”和"允许桌面应用访问你的相机"都打开，一般情况下，到这一步后摄像头就能正常工作了，但如果摄像头还是无法工作，请继续按下面步骤设置。不一定可行，具体看自身情况。
博客
cdh报 Unable to acquire JDBC Connection
01-10 1131
重新启动mysql解决！
博客
centos7 升级httpd
12-29 1088
tar -zxvf 软件包名.tar.gz -C /home/hao” 解压到指定的目录下 （注意：-C为大写）“./configure --prefix=/opt”，表示安装到/opt目录。2）进入解压后的文件目录下 执行“./configure”命令为编译做好准备。（5）将安装目录的bin目录下的httpd拷贝到/usr/sbin/目录下。“tar –xvzf 软件包名”，就可以完成解压与解包工作。1）解压tar.gz包。
博客
-------如何消除打印机的字迹（字迹打印机消除即）--------
12-15 6525
消除打印机的字迹共有以下四种方法：1、可使用刀片，轻轻刮掉即可消除打印机字迹。2、可使用消字灵，即可消除打印机字迹。3、可使用橡皮擦，即可擦掉消除打印机字迹。4、可使用专门的药水，即可消除打印机字迹。1、可使用刀片，轻轻刮掉即可消除打印机字迹。3、可使用橡皮擦，即可擦掉消除打印机字迹。4、可使用专门的药水，即可消除打印机字迹。2、可使用消字灵，即可消除打印机字迹。如何消除打印机的字迹。
博客
大屏可视化关键技术
12-14 1350
大屏可视化关键技术就为大家介绍到此了，因此如果说大屏可视化技术中还有主次之分的话，那么大数据共享、互联网以及AI智能这些技术的成熟，是可视化大屏技术成熟的一个至关重要的联系所在，只是现在而言，这种技术都在发展中。大屏可视化的技术中涉及的范围会比较广，拆开来说诸如各种LED视频技术、互联网技术、智能技术、视觉设计技术等等这些技术，都是跟大屏可视化有着千丝万缕断不开的关系，但真正影响到大屏可视化关键技术却在于下面的3点上。为什么5G成为香饽饽，因为5G所带来不仅仅是网速的提高，更多是互联网新时代的降生。
博客
linux系统中怎么修改服务器名称（集群中机器的别名）
12-08 3274
修改主机名，需要更改两个文件：/etc/hostname/etc/hosts在hostname文件中，将原来主机名改为新的即可。在hosts文件中，可将127.0.0.1解析的原主机名部分改为新的主机名—————————————————1.修改linux的服务器名NETWORKING=yesHOSTNAME=yourname //在这修改hostname2.修改/etc/hosts里面的名字＃ vi /etc/hosts127.0.0.1 localhost.localdomain local
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值