大数据
文章平均质量分 59
横店选手
这个作者很懒,什么都没留下…
展开
-
ubuntu下搭建hdfs+hbase+spark集群(ssh免密登录)
备注:集群之间的通信依赖ssh,因此需要首先安装ssh,并实现各节点之间的ssh无密访问。(均已ubuntu系统为例) 1、安装ssh 分别给集群中的每个节点安装ssh,指令如下:$sudo apt-get install openssh-server如果安装过程中提示错误,需要更新软件源,具体指令如下:$sudo apt-get update2、生成秘钥 每...原创 2018-07-27 21:16:03 · 563 阅读 · 0 评论 -
spark运行正常,某一个Stage卡住,停止不前异常分析
异常说明spark提交任务后,前N个Stage运行顺利,到达某一个Stage后,卡住,通过spark界面可以看到,executor运行正常,卡住的Stage的task已经分配至executor,但duration time一直增加,task却不结束,同时log中也无异常报出。解决方案1,分析没有异常说明程序本身没有问题,框架运行也运行正常,很有可能是因为该stage操作较为复杂...转载 2018-09-05 10:02:10 · 7004 阅读 · 0 评论 -
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署
本文介绍纯净版的机器,搭建ambari集群,版本如标题,集群规模为1master,4slaver。1、首先为5台机器分别分配好主机名和相应的IP地址,主机名需要符合FQDN规则,不能简单的master,我这里分配的如下:master.qc.com 192.168.8.100slaver1.qc.com 192.168.8.101slaver2.qc.com 192.168.8.10...原创 2018-11-21 16:45:47 · 651 阅读 · 0 评论 -
机房断电导致HBase集群region offline故障解决
环境描述:ambari集群+hdfs+zookeeper+hbase错误描述:hdfs 存在部分 corrupt replica blocks/missing blocks/under replicated blockesBlock Errors 31 corrupt replica / 30 missing / 31 under replicated hbase存在大量的o...原创 2018-12-03 15:25:22 · 3243 阅读 · 0 评论