大数据
文章平均质量分 60
clooker
这个作者很懒,什么都没留下…
展开
-
hbase Inconsistent Regions问题
1. hbase版本2.3.32. 问题界面hbck页面出现如下问题:文字描述如下:Unknown ServersThe below are servers mentioned in the hbase:meta table that are no longer ‘live’ or known ‘dead’. The server likely belongs to an older cluster epoch since replaced by a new instance becaus原创 2021-05-18 10:18:46 · 1033 阅读 · 0 评论 -
【问题】hadoop读取文件失败
环境hadoop3.2.1要实现的功能和代码读取hdfs上的文件。Configuration conf = new Configuration();try (FileSystem fs = FileSystem.get(conf)) { Path basePath = new Path("hdfs://hdfs-cluster/"); FileStatus[] files = fs.listStatus(basePath); for (FileStatus file : files) {原创 2021-05-07 16:31:49 · 760 阅读 · 0 评论 -
ES出现read-only的解决办法
环境Elasticsearch 6.5.1问题es入库出现如下异常:Caused by: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries for bulk operation [1000/1000]. Error sample (first [5] error messages): org.elasticsearch.hadoop.rest.EsHadoopRemoteException: cluste原创 2021-04-26 19:10:05 · 2524 阅读 · 0 评论 -
ElasticSearch 6.5.1 添加用户名和密码
需求设置ElasticSearch的用户名和密码,禁止非法用户访问。程序版本elasticsearch-6.5.1kibana-6.5.1-linux-x86_64流程1. 修改elasticsearch.yml配置文件开启验证权限xpack.security.enabled: truehttp.cors.enabled: truehttp.cors.allow-origin: “*”http.cors.allow-headers: Authorization,X-Requested-原创 2021-04-22 11:44:05 · 2965 阅读 · 0 评论 -
hbase执行org.apache.hadoop.hbase.mapreduce.RowCounter出错
需求统计hbase某个表的所有rowkey数量方法使用hbase提供的类,RowCounter。具体命令:./hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'table_name'出现异常命令执行后控制台出现以下错误:2021-04-21 15:46:19,787 INFO [main] Configuration.deprecation: yarn.resourcemanager.system-metrics-publisher.原创 2021-04-21 16:18:35 · 2352 阅读 · 1 评论 -
hbck2使用说明
准备从git上下载新版的hbck jar包或者通过源码打包,下载地址https://github.com/apache/hbase-operator-tools/tree/master/hbase-hbck2使用方式HBASE_CLASSPATH_PREFIX=./hbase-hbck2-1.1.0-SNAPSHOT.jar ./bin/hbase org.apache.hbase.HBCK2参数说明usage: HBCK2 [OPTIONS] COMMAND Options:-d,–debu原创 2021-04-14 09:29:16 · 791 阅读 · 0 评论 -
hbase 2.x 永久 RIT 的解决方法
hbase环境hbase-2.3.3问题描述assignment.AssignmentManager: STUCK Region-In-Transition state=OPENING, location=datanode,16902,1616836706021, table=table_name, region=fb06a2******解决方法一使用hbck2重新assignsHBASE_CLASSPATH_PREFIX=./hbase-hbck2-1.1.0-SNAPSHOT.jar ./b原创 2021-03-27 17:57:26 · 2460 阅读 · 1 评论