大数据
文章平均质量分 66
旭旭宝宝
套你猴子
展开
-
kafka报错 failed to complete preferred replica leader election to 217. Leader is still 219
Failed to elect leader for partition __consumer_offsets-77 under strategy OfflinePartitionLeaderElectionStrategycdh管理页面问题原因 新增加的副本的offset 副本的offset比leader的新 所以在elect的时候 出现问题解决方法 :在kafka的home path 的bin目录下 执行自带平衡topic 脚本kafka-preferred-replica-election原创 2020-05-22 11:21:22 · 3879 阅读 · 1 评论 -
Permission denied. user=rootis not the owner ....
HADOOP_USER_NAME=xxx hadoop fs -rmr /hbase/default/data/原创 2020-05-19 15:37:40 · 2580 阅读 · 0 评论 -
Hbase 2.x使用协处理器
最近在使用hbase的协处理器同步rowkey到es的时候 ,碰到这种错误去官网查了查.http://hbase.apache.org/2.0/book.html#quickstart发现在2.x版本中使用 需要换成这种方式implements RegionObserver,RegionCoprocessor并且要重写 Optional 方法@Override public Optional<RegionObserver> getRegionObserver() {原创 2020-05-19 14:01:19 · 506 阅读 · 0 评论 -
HBase添加协处理器时,出现错误
ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: Class cn.com.newbee.feng.MyRegionObserver cannot be loaded Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks解决方法:在hdfs-site.xml中添加配置信息<prope原创 2020-05-19 11:09:36 · 1760 阅读 · 0 评论 -
Hbase添加和删除列族
hbase> alter ‘hbasetest’, {NAME => ‘cf2’, VERSIONS => 800}hbase> alter ‘hbasetes’, {NAME => ‘cf2’, METHOD => ‘delete’}原创 2020-05-14 19:06:09 · 6420 阅读 · 1 评论 -
Cdh版本下 sprak-shell启动失败
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user/spark/applicationHistory":spark:supergroup...原创 2020-05-07 15:29:07 · 142 阅读 · 0 评论 -
Centos 7 安装docker
1.官方建议内核版本 为3.10以上查看内核版本uname –a2.将yum更新到最高版本yum update3.安装最新版本的dockeryum install -y yum-utils && yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-c...原创 2020-05-07 11:25:39 · 125 阅读 · 0 评论 -
javaapi连接hive报错Required field 'client_protocol' is unset!
解决办法.在确认url和账号密码无误的情况下将pom文件hive-jdbc的版本和你的hive版本改为一直即可 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> ...原创 2020-05-07 10:06:42 · 277 阅读 · 0 评论 -
Hbase进行RowCount统计
参考https://blog.csdn.net/m0_37739193/article/details/75286496?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant.none-task-blog-BlogC...原创 2020-04-28 15:48:12 · 179 阅读 · 0 评论 -
使用Es构建hbase的二级索引
ES版本为7.6.2Hbase版本为2.1.0思路:先将hbase的rowkey当做索引存入到ES中 ,根据habse中的字段来读取出ES中索引,再去habse查找响应的数据用到的依赖:<dependencies> <dependency> <groupId>org.apache.hadoop</group...原创 2020-04-28 11:32:23 · 798 阅读 · 0 评论 -
java连接ES集群报错 NoNodeAvailableException[None of the configured nodes are available
首先检查client 连接里面的集群名字有没有写错 要和elasticsearch.yml中配置的一致Java连接的端口号是9300将elasticsearch.yml中的network.host改为 0.0.0.0这些修改后可能会出现另外一个错误Exception in thread “Thread-1” java.lang.NoSuchMethodError: io.netty.b...原创 2020-04-27 11:01:02 · 610 阅读 · 0 评论 -
使用idea远程控制hadoop集群 habse,hive
1.首先下载必要的东西Hadoop的jar包 这里用的是3.xhttp://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gzwinutils工具包https://codeload.github.com/s911415/apache-hadoop-3.1.0-winutils/zip/maste...原创 2020-04-24 12:02:03 · 261 阅读 · 0 评论 -
hive显示当前使用的数据库
命令行输入set hive.cli.print.current.db=true;原创 2020-04-22 17:54:21 · 435 阅读 · 0 评论 -
Hive数据通过表关联导入数据到hbase
1 创建映射表 如果删除hive表 hbase表也会跟着删除,不想删除可以创建hive外部表(create external table)CREATE TABLE hive_hbase_table(key int, name String,age int) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SER...原创 2020-04-20 10:20:00 · 323 阅读 · 0 评论 -
yum源更换
1. 首先备份/etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2. 下载对应版本repo文件Centos7:wget -P /etc/yum.repos.d http://mirrors.163.com/.help/Ce...原创 2020-04-14 09:51:14 · 95 阅读 · 0 评论 -
flink安装
flink安装Flink 有三种部署模式,分别是 Local、Standalone Cluster 和 Yarn Cluster。这里是Standalone 模式1.下载官网链接:(https://flink.apache.org/downloads.html)官网入门程序:(https://ci.apache.org/projects/flink/flink-docs-release-...原创 2018-10-27 10:54:51 · 304 阅读 · 0 评论