![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
root666/
这个作者很懒,什么都没留下…
展开
-
hbase的javaAPI操作
连接配置导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope>原创 2021-12-27 14:14:07 · 391 阅读 · 0 评论 -
HDFS配额说明
字段 说明QUOTA 目录数+文件数的限制(如果没有配额,则显示为none,空间配额同理)REM_QUOTA 可用的目录数+文件数(剩余能创建的目录和文件数量,如果没有配额,则显示为inf)SPACE_QUOTA 空间配额REM_SPACE_QUOTA 剩余空间配额DIR_COUNT 目录数FILE_COUNT 文件数CONTENT_SIZE 当前文件大小(逻辑空间大小,不计副本因素)PATHNAME HDFS路径#查看HDFS目录配额 sudo -u hdfs hadoop fs -原创 2021-12-23 11:09:16 · 1771 阅读 · 0 评论 -
resource_management.core.exceptions.ExecutionFailed: Execution of ‘hdfs --config /usr/hdp/3.1.5.0-1
问题在卸载amabri3.1.4.0后重装amabri3.1.5.0,出现如下报错resource_management.core.exceptions.ExecutionFailed: Execution of 'hdfs --config /usr/hdp/3.1.5.0-152/hadoop/conf namenode -format -nonInteractive' returned 1. ERROR: Cannot execute /usr/hdp/3.1.4.0-315/hadoop//原创 2021-12-08 19:29:42 · 2580 阅读 · 0 评论 -
端口占用问题:Address already in use
端口占用问题问题ERROR applicationhistoryservice.ApplicationHistoryServer (ApplicationHistoryServer.java:launchAppHistoryServer(180)) - Error starting ApplicationHistoryServerorg.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem原创 2021-12-08 10:22:14 · 523 阅读 · 0 评论 -
Error: java.io.IOException: java.lang.IllegalArgumentException: Bucket Cache should be minimum 1 MB
问题Error: java.io.IOException: java.lang.IllegalArgumentException: Bucket Cache should be minimum 1 MB in size.Configure 'hbase.bucketcache.size'解决把hbase.bucketcache.ioengine的值设为offheap,即关闭hbase.bucketcache原创 2021-12-02 15:58:36 · 264 阅读 · 0 评论 -
搭建hbase集群
搭建hbasehbase的部署依赖zookeeper、hdfs上传hbase安装包hbase-2.1.0.tar.gz修改HBase配置文件hbase-env.shcd /export/software/hbase/confvim hbase-env.sh# 第28行添加如下信息export JAVA_HOME=/export/software/jdk/export HBASE_MANAGES_ZK=falsehbase-site.xml<configuration&原创 2021-09-06 12:22:17 · 91 阅读 · 0 评论 -
搭建zookeeper集群
学习框架的三步走框架是干什么的框架怎么用框架的原理是什么搭建zookeeper集群一般选择2n+1,奇数上传zookeeper(所有节点)apache-zookeeper-3.7.0-bin.tar.gz确保安装jdk 1.8(所有节点)如果有系统自带的jdk,卸载原有jdk[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RbUXj5f4-1630896447634)(C:\Users\18201\AppData\Roaming\Typora\typora-原创 2021-09-06 10:48:13 · 61 阅读 · 0 评论