- 博客(17)
- 资源 (225)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 该角色在之前的 5 分钟 中遇到 1 次意外退出。这包括由于 OutOfMemory 错误而导致
hbase：faladata02角色RegionServer意外退出报错：该角色在之前的 5 分钟 中遇到 1 次意外退出。这包括由于 OutOfMemory 错误而导致的 1 退出。 临界阈值：任意。原因是hbase启动的原始内存太小了，然后我们修改 "HBase RegionServer 的 Java 配置选项"参数参数：-Xmx256m -Xms256m -XX:MaxNewSize=128m -XX:NewSize=128m -XX:+UseParNewGC -XX:+UseConcMarkS
2021-09-29 11:29:52
1378
原创 kylin: build cube Hbase: Region Server 意外退出
背景跑kylin 的 build cube 任务，总是在跑任务（数据量200M）的时候挂掉，各种调节yarn的参数都不行。在这里插入图片描述关键跑的时候还没涉及到hbase,因为我跑的是kylin on druid，但是总是跑着跑着，直接ERROR，查看hbase发现。不良 : 该角色在之前的 3 分钟 中遇到 1 次意外退出。这包括由于 OutOfMemory 错误而导致的 1 退出。 临界阈值：任意。12然后死掉在这里插入图片描述在这里插入图片描述页面上还有这个错Java HotS
2021-09-29 11:26:54
222
原创 不良 : There are 0 (Beeswax pool) 64 (Hive Server 2 pool) active client
在这里发现了一些端倪，注意这个total number of sessions:100,这个表示的是连接hive2的总的进程数。100没有再增长，推测可能有相关配置限制这个连接数。查看hive2的配置修改为10000后重启集群恢复
2021-09-26 16:41:03
1059
原创 Windows防火墙配置（允许某个网段和部分IP访问某个端口）
1.win+R2.gpedit.msc3.计算机配置+Windows设置+安全设置+IP安全策略，在本地计算机4.创建IP安全策略5.配置IP筛选器列表、筛选器操作6.分配https://img2018.cnblogs.com/blog/1120677/201901/1120677-20190108160144984-1373293580.gif192.168.1.0/24192.168.1.0是你的IPV4地址；/24是你的子网掩码，代表255.255.255.0。IPV4地址用32位
2021-09-17 12:47:53
2446
1
原创 hbase shell基本命令
1.进入hbase shell console$HBASE_HOME/bin/hbase shell1)查看当前用户hbase(main)> whoami2.表的管理1）查看有哪些表hbase(main)> list2）创建表语法：create , {NAME => , VERSIONS => }例如：创建表t1，有两个family name：f1，f2，且版本数均为2hbase(main)> create ‘t1’,{NAME => ‘f1’, VE
2021-09-15 11:27:23
464
原创 HBase 批量删除表 disable_all drop_all
这两命令可以匹配正则表达式，对表进行批量操作，也可以对确定名字的单表操作，在表名不存在时，也不会返回exception，只会有提示信息。\ny是为了实现自动确认，因为这两命令需要用户交互确认。例子，删除所有“haha”开头的表：echo -e “disable_all ‘haha.’\ny" | hbase shell -necho -e "drop_all 'haha.’\ny” | hbase shell -n...
2021-09-15 11:04:02
417
原创 HBase之disable+drop删除表疑点解惑
HBase中删除一张表先disable ‘tableName’再drop ‘tableName’来删除表问：如果region非常多（但没有访问量了），对线上会有什么影响吗？答：disable只是改了一下ZK里面table的状态。drop也不是现场就把hfile删掉了，只是迁移到.archive目录下，然后有一个过期时间，定期清理的。这个过程需要做flush。所以执行drop命令，region数量对hbase的影响基本为0。主要是hdfs要move一下文件。问：drop后，hfile那些是异步删除
2021-09-15 10:58:03
397
原创 HBase建表的基本命令
1.启动HBase外壳环境（shell）：hbase shell2.新建一张表“test”要新建一个表，必须对你的表命名，并定义模式。一个表的模式包含表的属性和一个列族的列表。列族本身也有属性。可以在定义模式时一次定义它们。列族的属性示例包括列族是否应该在文件系统中压缩村村，一个单元格要保存多少个版本等。模式可以修改，需要时把表设为“离线”（offline）即可。外科环境中使用disable命令可以把表设为离线，使用alter命令可以进行必要的修改，而enable命令则可以把表重新设为在线（online
2021-09-15 10:55:57
5437
原创 hbase 建的表删除不掉的问题，已成功解决，经验分享
所用平台：hadoop 2.7.1，hbase 1.0.1.1，hbase api 1.0.1.1发现的问题：之前在eclipse中调用api建表、填充数据、查看数据、删除数据、删除表都已经成功，但有一天同事用api建了一张表city，在hbase shell里删不掉。我试了下，可以disable，但drop报错ERROR: Retries exhausted, it took too long to wait for the table city to be deleted.，以下是实验操作记录摘要，
2021-09-15 10:51:44
2154
原创 Hbase 操作表时，连接超时，或者找不到对应的region Server
在Hbase操作表时，突然报出ERROR: Failed 1 action: NotServingRegionException: 1 time, servers with issues: hadoop104,16020,1584783879148,而且在flush时，会报错TimeoutException: Timeout elapsed! Source:Timeout caused Foreign Exception Start:1584783789686, End:1584783849687, d
2021-09-15 10:48:32
2141
原创 cdh 的 oozie时间校准
打开ooze ->配置 ->高级->找到oozie-site.xml 的 Oozie Server 高级配置代码段（安全阀）名称 : oozie.processing.timezone值 : GMT+0800然后在定时 Coordinators 页面输入所需执行时间
2021-09-14 17:11:50
106
原创 HBase数据块NotServingRegionException排查
同一份测试样本，同一天的不同时间段查询HBase表，命中结果不一致。对比分析两份样本结果差异，发现样本2的结果是样本1的子集，样本1多出42条结果，且都是key 「1b」 开头：后续多次测试均无法得到样本1的结果，也就是说「数据凭空少了」。接口问题排查程序中通过调用后端提供的服务接口进行数据查询，接口日志中 返回结果为空List，无异常。登录hbase shell手动进行scan查询：scan ‘ns:table_express’,{STARTROW=>‘1b3e9f822f33977ce
2021-09-14 13:10:44
786
原创 Hadoop程序运行中的Error(1)-Error: org.apache.hadoop.hdfs.BlockMissingException
15/03/18 09:59:21 INFO mapreduce.Job: Task Id : attempt_1426641074924_0002_m_000000_2, Status : FAILEDError: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-35642051-192.168.199.91-1419581604721:blk_1073743091_2267 file=/filein/fi
2021-09-14 11:46:12
608
原创 Root cause: BlockMissingException【查看修复HDFS中丢失的块】ORG.APACHE.HADOOP.HDFS.BLOCKMISSINGEXCEPTION: COULD
首先得好看有多少损坏的文件，其中需要使用Hadoop的fsck命令：以下是官方解释用法： hadoop fsck //路径以上将会展示该路径下所有受损的文件最后用-delete 可以清除掉所有受损的文件
2021-09-14 11:44:26
739
原创 linux tar.gz文件安装
1、将安装文件拷贝至你的目录中，如果是以root身份登录上的，就将软件拷贝至/root中。#cp xxx.tar.gz /root2、解压缩。#tar -xvzf xxx.tar.gz或直接双击解压缩.3、检查编译。#./configure4、检查通过后，将生成用于编译的MakeFile文件。此时，可以开始进行编译。#make。5、成功编译后，开始安装。#make install6、安装完毕，应清除编译过程中产生的临时文件和配置过程中产生的文件。#make clean#make d
2021-09-14 09:59:57
11138
原创 Linux系统下提示磁盘空间满，但实际占用却很小
执行 lsof -n | grep deleted第二步lsof |grep delete | grep -v grep | awk ‘{print $2}’ | xargs kill -9
2021-09-02 16:06:17
808
原创 linux，实际占用存储于使用存储不符合什么原因
du，disk usage,是通过搜索文件来计算每个文件的大小然后累加，du能看到的文件只是一些当前存在的，没有被删除的。他计算的大小就是当前他认为存在的所有文件大小的累加和。df，disk free，通过文件系统来快速获取空间大小的信息，当我们删除一个文件的时候，这个文件不是马上就在文件系统当中消失了，而是暂时消失了，当所有程序都不用时，才会根据OS的规则释放掉已经删除的文件， df记录的是通过文件系统获取到的文件的大小，他比du强的地方就是能够看到已经删除的文件，而且计算大小的时候，把这一部分的空间也
2021-09-02 15:55:27
310
salt-minion-3005.5-2.el8.x86-64.rpm
2024-05-29
salt-3005.5-2.el8.x86-64.rpm
2024-05-29
salt-master-3005.5-2.el8.x86-64
2024-05-29
Google Chrome 浏览器 125.0.6422.113.x64 中文绿色便携稳定共存版
2024-05-29
Google Chrome 浏览器 125.0.6422.113.x64 中文绿色便携稳定共存版
2024-05-29
openssh9.4p1 针对x86系列升级openssh的编译包 配套的ssl文件
2023-08-25
centos 7.7 telnet安装包
2022-08-04
4-5G互操作参数重定向EPS FALLBACK
2022-05-19
Axure9元件库大合集 Axure9元件库大合集 百度网盘下载 .txt
2022-04-20
各位关于speedtest的ookla问题，报错如图
2022-03-17
虚拟机安装oommf软件报错
2021-03-24
storm ui 访问无数据显示（重启依然无反应）
2021-03-22
大家好，这里是我的留言板，如果有问题，欢迎大家留言，我会第一时间进行回复
2021-03-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人