大数据
文章平均质量分 60
clooker
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hbase Inconsistent Regions问题
1. hbase版本 2.3.3 2. 问题 界面hbck页面出现如下问题: 文字描述如下: Unknown Servers The below are servers mentioned in the hbase:meta table that are no longer ‘live’ or known ‘dead’. The server likely belongs to an older cluster epoch since replaced by a new instance becaus原创 2021-05-18 10:18:46 · 1436 阅读 · 0 评论 -
【问题】hadoop读取文件失败
环境 hadoop3.2.1 要实现的功能和代码 读取hdfs上的文件。 Configuration conf = new Configuration(); try (FileSystem fs = FileSystem.get(conf)) { Path basePath = new Path("hdfs://hdfs-cluster/"); FileStatus[] files = fs.listStatus(basePath); for (FileStatus file : files) {原创 2021-05-07 16:31:49 · 968 阅读 · 0 评论 -
ES出现read-only的解决办法
环境 Elasticsearch 6.5.1 问题 es入库出现如下异常: Caused by: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries for bulk operation [1000/1000]. Error sample (first [5] error messages): org.elasticsearch.hadoop.rest.EsHadoopRemoteException: cluste原创 2021-04-26 19:10:05 · 2969 阅读 · 0 评论 -
ElasticSearch 6.5.1 添加用户名和密码
需求 设置ElasticSearch的用户名和密码,禁止非法用户访问。 程序版本 elasticsearch-6.5.1 kibana-6.5.1-linux-x86_64 流程 1. 修改elasticsearch.yml配置文件 开启验证权限 xpack.security.enabled: true http.cors.enabled: true http.cors.allow-origin: “*” http.cors.allow-headers: Authorization,X-Requested-原创 2021-04-22 11:44:05 · 3266 阅读 · 0 评论 -
hbase执行org.apache.hadoop.hbase.mapreduce.RowCounter出错
需求 统计hbase某个表的所有rowkey数量 方法 使用hbase提供的类,RowCounter。 具体命令: ./hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'table_name' 出现异常 命令执行后控制台出现以下错误: 2021-04-21 15:46:19,787 INFO [main] Configuration.deprecation: yarn.resourcemanager.system-metrics-publisher.原创 2021-04-21 16:18:35 · 2627 阅读 · 1 评论 -
hbck2使用说明
准备 从git上下载新版的hbck jar包或者通过源码打包,下载地址https://github.com/apache/hbase-operator-tools/tree/master/hbase-hbck2 使用方式 HBASE_CLASSPATH_PREFIX=./hbase-hbck2-1.1.0-SNAPSHOT.jar ./bin/hbase org.apache.hbase.HBCK2 参数说明 usage: HBCK2 [OPTIONS] COMMAND Options: -d,–debu原创 2021-04-14 09:29:16 · 995 阅读 · 0 评论 -
hbase 2.x 永久 RIT 的解决方法
hbase环境 hbase-2.3.3 问题描述 assignment.AssignmentManager: STUCK Region-In-Transition state=OPENING, location=datanode,16902,1616836706021, table=table_name, region=fb06a2****** 解决方法一 使用hbck2重新assigns HBASE_CLASSPATH_PREFIX=./hbase-hbck2-1.1.0-SNAPSHOT.jar ./b原创 2021-03-27 17:57:26 · 2830 阅读 · 1 评论
分享