大数据
客尘烦恼
这个作者很懒,什么都没留下…
展开
-
ES报错:Can not be imported as a dangling index as index with same name already exists in cluster me
解决方案: 你不应该直接删除报警日志中的.kibana index,因为可能会因此在kibana中丢失数据。假如你曾经删除过 .kibana indice,那么这个警告就是你过去那个删除操作的残留结果。相应地,你应该知道操作的危险性: kibana官方配置文档 https://www.elastic.co/guide/en/kibana/current/settings.html默认情况:ki翻译 2017-12-01 00:59:40 · 11547 阅读 · 0 评论 -
关于hadoop集群常见的节点失联问题
节点失去心跳1.先看下是否能连上ssh上去看一下,或者ping一下如果能连上的考虑是主机名和时间同步问题查看hostname是不是发生了变化,检查/etc/hosts文件是否一致查看时间与namenode节点是否一致确定没有这两方面原因之后,等一段时间后即可获取心跳2.连不上的话考虑网络和服务器的问题...原创 2018-04-20 14:53:27 · 2496 阅读 · 0 评论 -
Ambari-Hadoop集群、Elasticsearch集群及nginx安装
环境初始化hostnamevi /etc/hosts打通yumntplimit参数初始化防火墙jdkmysql-connectormysqlambariHDP安装ELK环境nodeeses-headkibanalogstash filebeatnginx写在前面的话,安装这些东西的话,最好用脚本,不容易出错,下面写的是手动部署的过程...原创 2018-04-20 14:39:52 · 1186 阅读 · 0 评论 -
关于hbase修复
查看hbase ui http://hmasterIP:16010/master-status 查看是否datanode有挂掉的,hdfs服务是否正常 hbase hbck 检查hbase状态常规用repair即可解决hbase hbck -repair相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHd...原创 2017-11-24 21:56:23 · 2063 阅读 · 0 评论 -
ranger import failed
rangeradmin启动不了,报错ranger import failed 猜测应为mysql function_creators参数没开 进mysql看一下show variables like ‘%func%’; 说明应该是这个问题在mysql输入 set global log_bin_trust_function_creators=1;重新启动rangeradm原创 2018-01-29 17:13:00 · 1456 阅读 · 0 评论 -
es-jvm.options范本
## JVM configuration################################################################## IMPORTANT: JVM heap size#################################################################### You should always原创 2017-12-23 18:12:12 · 2836 阅读 · 1 评论 -
Hbase regionserver 启动不了的解决方案
尝试重启节点Hmaster节点执行bin/graceful_stop.sh --restart --reload --debug '节点名'挂掉节点执行/bin/hbase-daemon.sh start regionserver两种方式都失败查看日志less -R hbase-hadoop-regionserver-xxx.logjava.io.IOException: Connection原创 2017-12-23 17:36:29 · 8416 阅读 · 2 评论 -
Ambari-Hadoop集群、Elasticsearch集群及nginx安装
环境初始化hostnamevi etchosts打通yumntplimit参数初始化防火墙jdkmysql-connectormysqlambariHDP安装ELK环境nodeeses-headkibanalogstash filebeatnginx环境初始化一定要先挂载好磁盘hostnamehostnamevi /etc/sysconfig/networ原创 2017-12-19 05:00:26 · 676 阅读 · 0 评论 -
大数据集群失联问题解决方案
我们之前维护的集群经常性地出现失联的情况,大数据集群上,还有es集群在跑,在凌晨左右集群会有随机的机器间歇性失联,cpu飙高,ssh登录不了。 在尝试了诸多方法后,通过每天定时清理缓存的方式解决了集群失联的问题。生产环境的大数据集群每天会有大量缓存,若不清理,就会导致内存使用率一直居高不下,长此以往,集群机器就容易失联。手工释放linux内存To free pagecache, useecho原创 2017-11-23 03:45:46 · 1551 阅读 · 0 评论 -
ranger启动报错Access denied for user 'root'@'%' to database 'ranger'
使用ambari安装的ranger在启动ranger-admin时报错 Access denied for user ‘root’@’%’ to database ‘ranger’ 参考解决办法: 使用root用户登录数据库,执行以下sql语句mysql> SELECT host,user,password,Grant_priv,Super_priv FROM mysql.user;+---原创 2017-11-23 04:02:31 · 2050 阅读 · 0 评论 -
codis非正常关闭重启过程
codis主节点突然挂掉,重启了一把 非正常关闭,需要进zookeeper中删除/codis下创建的内容[zk: localhost:2181(CONNECTED) 0] ls /[jodis, cluster, registry, controller, brokers, storm, zookeeper, infra-solr, hbase-unsecure, hadoop-ha,...原创 2018-04-20 15:07:20 · 1981 阅读 · 0 评论