zooper
文章平均质量分 66
格格巫 MMQ!!
==========青春肆意飞扬,热爱经久不息。==============
展开
-
Apache Zookeeper 未授权访问漏洞【原理扫描】
漏洞名称 Apache Zookeeper 未授权访问漏洞【原理扫描】风险等级 高高可利用 否CVE编号 -端口(服务) 2181(zookeeper)风险描述 ZooKeeper是一个高性能的分布式数据一致性解决方案,它将复杂的,容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并提供一系列简单易用的接口给客户使用。ZooKeeper默认开启在2181端口,在未进行任何访问控制情况下,攻击者可通过执行envi命令获得系统大量的敏感信息,包括系统名称、Java环境。原创 2022-11-25 15:27:54 · 10399 阅读 · 0 评论 -
zookeeper未授权访问修复建议
setAcl /path auth:用户名:密码明文:权限。addauth digest 用户名:密码明文。为ZooKeeper配置相应的访问权限。1)增加一个认证用户。原创 2022-11-21 21:00:25 · 1943 阅读 · 0 评论 -
ZooKeeper设置ACL权限控制,删除权限
因为zookeeper会默认启动这几个具有world和cdrwa权限的znode,“/” “/zookeeper” “/zookeeper/config"和”/zookeeper/quota"(根据zookeeper的版本不同可能存在不同,并且这几个节点虽然具有world和cdrwa权限,但是是无法删除的,不知道为什么,好在我们可以给它设置ACL列表。注:这5种权限中,delete是指对子节点的删除权限,其它4种权限指对自身节点的操作权限。好了,到这里,才是真正的解决了这个未授权访问漏洞问题了。原创 2022-11-21 20:58:35 · 2668 阅读 · 0 评论 -
INFO zookeeper.ClientCnxn: Opening socket connection to server***/192.168.80.151:2181. Will not
at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)at org.apache.zookeeper.ClientCnxnSendThread.run(ClientCnxn.java:1081)18/06/1617:57:01INFOzookeeper.ClientCnxn:Openingsocketconnectiontoserverbigdata−pro02.kfk.com/192.16原创 2022-07-25 16:34:14 · 1056 阅读 · 0 评论 -
zookeeper 客户端连接报: Will not attempt to authenticate using SASL
如果查看防火墙状态是dead,stop了,但是还是不行,就需要vim/etc/sysconfig/iptables,把-AINPUT-mstate--stateNEW-mtcp-ptcp--dport2181-jACCEPT。当然,有的时候,由于特殊情况,我们在操作的时候难免粗心大意,这个时候也会有上述问题,尤其是,你发现自己的虚拟机没有防护墙规则的时候,这个时候就需要仔细的去查看配置了。解决方法我在学习zk的时候,用客户端连接zk,发现接收不到watch通知,并且报。.........原创 2022-07-25 15:21:08 · 830 阅读 · 0 评论 -
Still have 1 requests outstanding when connection from slaveX/X.X.X.X:33202 is closed
看了一下同事的代码,里面有一个groupby的操作,而且指定了partitionnum是2000,executors是60。并发连接数超过了其承载量,服务器会将其中一些连接Down掉,这也就是说在运行spark程序时,过多的申请资源并发执行。并且需要将某些hive表读取到dirver节点上,用来获取每个executor上某些数据的映射值,运行时抛出的异常信息,从网上查了下原因大致是服务器的。运行的程序其实逻辑上比较简单,只是从hive表里读取的数据量很大,差不多60+G,...原创 2022-07-23 18:44:29 · 1392 阅读 · 0 评论 -
storm ui 启动失败,zooper重启解决方案
给大家写了一个zk集群,如果你linux命令的基础部分 搭建zk集群是很简单的事情,zk集群搭建好了我们怎么连接zk 客户端,进行操作那?接下来就给大家演示如何使用zk shell 的使用补充:登陆zooper客户端删除操作删除storm操作 重启zooperzkCli.shzkCli.sh启动zooper./zkServer.sh startrm -rf localdir/*nohup ./bin/storm nimbus> /dev/null 2原创 2022-03-14 10:14:35 · 2477 阅读 · 3 评论 -
CDH中MYSQL的作用
CM底层自动部署安装数据库进行系统配置、schema等并进行相应管理。同时CM也支持使用外部数据库作为系统配置、数据表结构等的底层存储,具体支持的数据库包括:MySQL:5.1、5.5、5.6、5.7PostgreSQL:8.1、8.3、8.4、9.1、9.2、9.3、9.4Oracle:11gR2、12c一般来说外部元数据库都会采用系统自带的MySQL服务。 确保以下配置: 、增加数据库的最大连接数确保数据库支持UTF-8编码配置为主备模式,参考如何实现CDH元数据库MySQL的主备为了.原创 2021-05-25 13:33:44 · 383 阅读 · 0 评论 -
CDH简单介绍及体系架构
官网介绍CDH是Cloudera的100%开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流程。简单来说:CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得集群的安装可以从几天的时间缩短为几个小时,运维人数也会从数十人降低到几个人,极大的提高了集群管理的效率。为什么选择CDH部署C原创 2021-05-25 13:29:04 · 1502 阅读 · 0 评论 -
CDH组件简介
1.HDFS:Hadoop分布式文件系统被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Ha原创 2021-05-25 13:14:52 · 1115 阅读 · 0 评论 -
EndOfStreamException: Unable to read additional data from client sessionid 0x0, likely client has cl
今天在hbase中执行下面的命令disable ‘iw:test06’alter ‘iw:test06’,NAME=>‘i’,COMPRESSION=>‘SNAPPY’count ‘iw:test06’提示下面的异常信息2018-01-15 10:49:20,660 [myid:2] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1008] - Closed socket connection for.原创 2021-05-21 16:21:26 · 6081 阅读 · 0 评论 -
zookeeper连接,报caught end of stream exception EndOfStreamException: Unable to read additional data fro
最近发现线上的zookeeper的日志zookeeper.out 文件居然有6G,后来设置下日志为滚动输出,但是改了之后,发现一天的日志量就是100多M,滚动日志一天就被冲掉了,这个不科学。再仔细查看下日志里的内容,发现有很多连接建立好,马上又断开:2016-09-19 22:48:54,347 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1007] - Closed socket connection原创 2021-05-21 16:16:16 · 7977 阅读 · 0 评论