关注
分享
格格巫 MMQ!!
==========青春肆意飞扬，热爱经久不息。==============
展开
-
Apache Zookeeper 未授权访问漏洞【原理扫描】
漏洞名称 Apache Zookeeper 未授权访问漏洞【原理扫描】风险等级 高高可利用 否CVE编号 -端口(服务) 2181(zookeeper)风险描述 ZooKeeper是一个高性能的分布式数据一致性解决方案，它将复杂的，容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并提供一系列简单易用的接口给客户使用。ZooKeeper默认开启在2181端口，在未进行任何访问控制情况下，攻击者可通过执行envi命令获得系统大量的敏感信息，包括系统名称、Java环境。原创 2022-11-25 15:27:54 · 11102 阅读 · 0 评论 -
zookeeper未授权访问修复建议
setAcl /path auth:用户名:密码明文:权限。addauth digest 用户名:密码明文。为ZooKeeper配置相应的访问权限。1）增加一个认证用户。原创 2022-11-21 21:00:25 · 2054 阅读 · 0 评论 -
ZooKeeper设置ACL权限控制，删除权限
因为zookeeper会默认启动这几个具有world和cdrwa权限的znode，“/” “/zookeeper” “/zookeeper/config"和”/zookeeper/quota"（根据zookeeper的版本不同可能存在不同，并且这几个节点虽然具有world和cdrwa权限，但是是无法删除的，不知道为什么，好在我们可以给它设置ACL列表。注：这5种权限中，delete是指对子节点的删除权限，其它4种权限指对自身节点的操作权限。好了，到这里，才是真正的解决了这个未授权访问漏洞问题了。原创 2022-11-21 20:58:35 · 2802 阅读 · 0 评论 -
INFO zookeeper.ClientCnxn: Opening socket connection to server***/192.168.80.151:2181. Will not
at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)at org.apache.zookeeper.ClientCnxnSendThread.run(ClientCnxn.java:1081)18/06/1617:57:01INFOzookeeper.ClientCnxn:Openingsocketconnectiontoserverbigdata−pro02.kfk.com/192.16原创 2022-07-25 16:34:14 · 1140 阅读 · 0 评论 -
zookeeper 客户端连接报： Will not attempt to authenticate using SASL
如果查看防火墙状态是dead，stop了，但是还是不行，就需要vim/etc/sysconfig/iptables，把-AINPUT-mstate--stateNEW-mtcp-ptcp--dport2181-jACCEPT。当然，有的时候，由于特殊情况，我们在操作的时候难免粗心大意，这个时候也会有上述问题，尤其是，你发现自己的虚拟机没有防护墙规则的时候，这个时候就需要仔细的去查看配置了。解决方法我在学习zk的时候，用客户端连接zk，发现接收不到watch通知，并且报。.........原创 2022-07-25 15:21:08 · 897 阅读 · 0 评论 -
Still have 1 requests outstanding when connection from slaveX/X.X.X.X:33202 is closed
看了一下同事的代码，里面有一个groupby的操作，而且指定了partitionnum是2000，executors是60。并发连接数超过了其承载量，服务器会将其中一些连接Down掉，这也就是说在运行spark程序时，过多的申请资源并发执行。并且需要将某些hive表读取到dirver节点上，用来获取每个executor上某些数据的映射值，运行时抛出的异常信息，从网上查了下原因大致是服务器的。运行的程序其实逻辑上比较简单，只是从hive表里读取的数据量很大，差不多60+G，...原创 2022-07-23 18:44:29 · 1568 阅读 · 0 评论 -
storm ui 启动失败，zooper重启解决方案
给大家写了一个zk集群，如果你linux命令的基础部分 搭建zk集群是很简单的事情，zk集群搭建好了我们怎么连接zk 客户端，进行操作那？接下来就给大家演示如何使用zk shell 的使用补充：登陆zooper客户端删除操作删除storm操作 重启zooperzkCli.shzkCli.sh启动zooper./zkServer.sh startrm -rf localdir/*nohup ./bin/storm nimbus> /dev/null 2原创 2022-03-14 10:14:35 · 2510 阅读 · 3 评论 -
CDH中MYSQL的作用
CM底层自动部署安装数据库进行系统配置、schema等并进行相应管理。同时CM也支持使用外部数据库作为系统配置、数据表结构等的底层存储，具体支持的数据库包括：MySQL：5.1、5.5、5.6、5.7PostgreSQL：8.1、8.3、8.4、9.1、9.2、9.3、9.4Oracle：11gR2、12c一般来说外部元数据库都会采用系统自带的MySQL服务。 确保以下配置： 、增加数据库的最大连接数确保数据库支持UTF-8编码配置为主备模式，参考如何实现CDH元数据库MySQL的主备为了.原创 2021-05-25 13:33:44 · 544 阅读 · 0 评论 -
CDH简单介绍及体系架构
官网介绍CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。为什么选择CDH部署C原创 2021-05-25 13:29:04 · 1543 阅读 · 0 评论 -
CDH组件简介
1.HDFS：Hadoop分布式文件系统被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Ha原创 2021-05-25 13:14:52 · 1149 阅读 · 0 评论 -
EndOfStreamException: Unable to read additional data from client sessionid 0x0, likely client has cl
今天在hbase中执行下面的命令disable ‘iw:test06’alter ‘iw:test06’,NAME=>‘i’,COMPRESSION=>‘SNAPPY’count ‘iw:test06’提示下面的异常信息2018-01-15 10:49:20,660 [myid:2] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1008] - Closed socket connection for.原创 2021-05-21 16:21:26 · 6255 阅读 · 0 评论 -
zookeeper连接，报caught end of stream exception EndOfStreamException: Unable to read additional data fro
最近发现线上的zookeeper的日志zookeeper.out 文件居然有6G，后来设置下日志为滚动输出，但是改了之后，发现一天的日志量就是100多M，滚动日志一天就被冲掉了，这个不科学。再仔细查看下日志里的内容，发现有很多连接建立好，马上又断开：2016-09-19 22:48:54,347 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1007] - Closed socket connection原创 2021-05-21 16:16:16 · 8341 阅读 · 0 评论