大数据
tiyager
这个作者很懒,什么都没留下…
展开
-
Hadoop多个dfs目录中有一个磁盘空间超过90%解决(used space above threshold of 90.0%)
异常信息1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /data/hadoop/tmp/data/nm-local-dir : used space above threshold of 90.0% ] ; 1/1 log-dirs usable space is below configured utilization percentage/no mor.原创 2020-10-19 18:31:44 · 4013 阅读 · 1 评论 -
hbaseclient写入数据发现节点不在线(is not online)故障
发现服务异常主要是节点不在线,写入数据频繁超时或者一直在重试进入表查看详情时发现master记录regionserver的端口与实际节点不一致导致数据始终无法写入最在hbase的web管理端中的HBCK Report查看异常节点(由于手残忘记截图了)'<HOSTNAME>,<PORT>,<STARTCODE>'在master节点执行hbase hbck -j /opt/hbase-hbck2-1.0.0.jar scheduleRecoveries..原创 2020-09-04 18:24:23 · 1233 阅读 · 0 评论 -
由于在hadoop删除数据导致hbase进入RIT
hbase shell下删除对应的数据 deleteall 'hbase:meta','tableName,8866A2342D24DFD22714D55675FEC4D7750EC3521AB4CE9A-1591613447000,1595774766555.995346d5a2bbf04857ad74d800bcc8f2.'原创 2020-07-30 14:13:00 · 294 阅读 · 0 评论 -
FLink实战读取kafka的nginx数据并写入kafka
package com.bigdata.realtime;import java.text.SimpleDateFormat;import java.util.Date;import java.util.Properties;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache....原创 2019-11-14 19:57:17 · 816 阅读 · 0 评论 -
kafka报错The request included a message larger than the max message size the server will accept
org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.Java客户端调整:MAX_REQUEST_SIZE_CONFIGkafka服务器端调整:message....原创 2019-10-18 10:43:16 · 4876 阅读 · 3 评论 -
tensorflow游乐场简单说明
tensorflow游乐场:http://playground.tensorflow.org原创 2019-10-17 17:26:34 · 374 阅读 · 0 评论 -
Hadoop3.1.2完全分布式集群部署超详细记录(CentOS 7.6.1810)
服务器环境说明安装准备JDK版本Host配置修改主机名免密码登录配置Hadoop功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入...原创 2019-08-28 22:38:19 · 244 阅读 · 0 评论 -
Java封装Hbase类库
最近在做Hbase项目,考虑到整体Hbase操作采用API的方式比较繁琐,简单封装了一下,项目使用SpringCould构建,涉及zookeeper,和spring security构建的比较复杂,所以就甩点干货.annotation涉及两个:FamilyColumn,用来定义列族名称,默认列族为"f"import java.lang.annotation.Documented;i...原创 2019-09-10 17:15:21 · 387 阅读 · 0 评论