大数据
文章平均质量分 69
键盘上的艺术家w
努力奋斗
展开
-
maxwell安装
Maxwell安装手册目录1 安装前置条件... 12 配置MySQL. 12.1 启用binlog. 12.2 创建maxwell账号并授权... 12.3 重启mysql 23 安装maxwell 23.1 解压maxwell安装包... 23.2 配置config.properties 23.3 配置kerberos认证... 23.4...原创 2020-12-11 14:36:22 · 1715 阅读 · 0 评论 -
k8s内存/cpu单位解析
1.k8s中内存表示法内存:MIcpu:核2.k8s cpu/内存数据样例以下 数据通过访问heapster的api获取表示date_time时间点 node的 cpu内存使用情况3.k8s cpu、内存单位转正常单位cpu : k8s的1000 = cpu的一个核 如果一台服务器cpu是4核 那么 k8s单位表示就是 4* 1000...原创 2020-02-27 14:35:45 · 9704 阅读 · 0 评论 -
zookeeper开启kerberos认证删除节点报错 Authentication is not valid : /hbase/splitWAL
1.描述在cdh集群中zookeeper开启了kerberos认证。然后通过zookeeper-client登陆zookeeper命令行操作,删除节点的时候报错删除命令:rmr /hbase报错:Authentication is not valid : /hbase/splitWAl说是 没有权限删除/hbase/splitWAL这个节点。我们运行zookeeper-cli...原创 2019-10-12 11:14:06 · 12016 阅读 · 3 评论 -
采集kafka数据以orc格式写往hdfs
1.需求,从kafka采集数据然后以orc格式的文件写往hdfs。然后hdfs上的表以orc格式存储,然后绑定分区可以查询出数据。2.解决需求 1) 使用flume 采集。写完hdfs。但是无法写orc格式。 2 ) logstach 可以写往hdfs。但是无法写orc格式。 3) datax 没有用过 不知道能不能写orc3.自己写代码实现。写一个...原创 2019-03-26 14:24:07 · 2494 阅读 · 6 评论 -
yarn 杀死 application 命令
1.杀死 applicationyarn application -kill + application id2. 杀死jobhadoop job -kill + jobID原创 2019-04-30 11:39:53 · 31294 阅读 · 2 评论 -
Hbase-region迁移
HbaseRegin迁移1为什么要做region迁移在生产上遇到有比较大的Region都是运行在同一个RegionSever上,有些RegionSever上的Requests比较少,明显的出现读请求不均衡;这个时候我们可以手动的移动Region到负载比较低的RegionSever上面,让负载高的regionServer减轻负载,然负载低的regionService增加负载以达到hbase集...原创 2019-07-25 13:11:22 · 1950 阅读 · 0 评论 -
通过java 客户端 操作k8s集群
1.在diea中新建一个maven工程然后倒入一下依赖 <dependency> <groupId>io.kubernetes</groupId> <artifactId>client-java</artifactId> <version>5.0...原创 2019-07-25 18:28:39 · 8134 阅读 · 22 评论