大数据
浙里起杭
这个作者很懒,什么都没留下…
展开
-
记一次hbase kerberos认证的坑
现象该程序已在多个环境上部署,上线成功,今天在一个新环境中部署,发现出现了kerberos认证不通过的现象,java.io.IOException: Login failure for myuser@example.com from keytab ./user.keytab,已经验证了该认证凭证正常,能正常认证方案参考stackoverflow需要将krb5.conf文件中的参数进行调整...原创 2020-12-24 22:59:07 · 1097 阅读 · 0 评论 -
arthas + mongo慢日志排查接口性能问题
问题描述线上生产环境某个接口,调用一次需要2s才能返回数据,严重影响客户端体验排查过程1. arthas 定位接口请求耗时下载安装arthas启动arthas执行命令:./as.sh选择对应的进程号 对应的序号跟踪trace在arthas命令框中执行命令:trace按TAB键,控台会将报名给列出来选择指定要跟踪的接口入口方法一致追踪下去,知道能定位主要耗时在哪里,耗时最高的方法会已红色进行标注从图中我们可以看到,这个耗时最高的地方是查询mongoarthas 详细使用方原创 2020-12-11 00:25:55 · 572 阅读 · 0 评论 -
通过cloudera manager 开启,hbase协处理器Aggregation
现象cdh重新部署,后程序启动后,发现抛出如下异常解决方法开启协处理器,登录cloudera manager,找到habse组件在hbase配置中,搜索coprocessor相关配置项,hbase.coprocessor.region.classes 的输入框中输入:org.apache.hadoop.hbase.coprocessor.AggregateImplementation点击保存,重启habse即可...原创 2020-11-16 21:46:53 · 231 阅读 · 0 评论 -
mongo分片原理及部署
概念副本集(Replicat Set)模式1.主服务器负责整个副本集的读写,副本集定期同步数据备份,一但主节点挂掉,副本节点就会选举一个新的主服务器,这一切对于应用服务器不需要关心2.副本集中的副本节点,在主节点挂掉后,通过心跳机制检测到后,就会在集群内发起主节点的选举机制,自动选举一位新的主服务器3.Mongodb 提供了各种开发语言访问 Mongodb replica sets 的驱动程序,所以,访问地址的高可用在客户端访问代码中实现4.Mongodb Replicat sets 同步测试原创 2020-10-26 07:51:44 · 928 阅读 · 1 评论 -
关于zookeeper启动后找不到jdk的问题
在clouder manager上,发现zookeeper挂了,提示错误为:Error: JAVA_HOME is not set and Java could not be found我到对应服务其上,看了下/etc/profile 里JAVA_HOME的配置却是正确的;然后进到错误的详细日志,发现启动zookeeper时,使用的JAVA_HOME是/opt/bdata/jdk1.8.0_251;而服务器的JAVA_HOME实际路径是: /usr/java/jdk1.8.0_152/;与在每个节原创 2020-07-13 21:09:06 · 1708 阅读 · 0 评论 -
elasticsearch 集群个节点角色介绍及对硬件配置的要求
在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。 默认情况下,elasticsearch 集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。这些功能是由两个属性控制的: node.master、node.data ,默认情况下这两个属性的值都是true。node.master:这个属性表示节点是否具有成为主节点的资格,注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的原创 2020-07-09 22:26:32 · 1209 阅读 · 0 评论 -
elasticsearch7.6 单点部署
修改hostsvim /etc/hosts将本机host 配置其中10.20.26.96 node-1创建es用户&赋权useradd espsasswd es输入密码:chmod 777 /home/elasticsearch/deploy/elasticsearch-7.3.2/binchown -R es:es /home/elasticsearch/deploy/elasticsearch-7.3.2/data chown -R es:es /home/elasti原创 2020-07-02 10:12:46 · 1076 阅读 · 0 评论