同步LDAP数据到ElasticSearch

最新推荐文章于 2024-07-04 09:00:00 发布
最新推荐文章于 2024-07-04 09:00:00 发布
阅读量702 收藏 1
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43437629/article/details/89855210
版权
为了解决在大规模AD/LDAP中搜索耗时过长的问题，作者实现了ldap2es，这是一个纯Python编写的工具，用于全量同步LDAP数据到ElasticSearch。它支持多进程和协程加速，适用于Python3.5+和Elasticsearch5.0+环境。快速开始包括克隆项目、安装依赖、配置和运行。ldap2es的工作原理涉及读取配置、创建进程和协程、批量同步数据到ES。
摘要由CSDN通过智能技术生成

背景 、需求

在有数十万，甚至上百万的账号有AD（LDAP）中，通过某个字段匹配出符合要求对象的耗时是难以忍受的，作者在100w+的AD账号中搜索电话号码（AD中未加索引），耗时超过10min。有同学可能会提到说，可以对这些字段加索引就能解决，事实上是不可能的，索引本身会带来大量的磁盘消耗，如果对memberof这样的长字符串加索引更加不现实。于是作者实现将AD(LDAP)对象同步到elasticsearch中。欢迎各给大佬试用并提供意见，github地址：
https://github.com/hafans-com/ldap2es。
邮箱：ccnujsj@126.com

特点

  1. 纯Python编写；
  2. 支持全量同步LDAP数据，包括person（用户）、computer（计算机）、group（组）；
  3. 多进程+协程实现快速同步；
  4. 简单配置即可使用

环境

  • Python3.5+
  • Elasticsearch5.0+

快速开始

  1. clone项目到本地；
    git clone https://github.com/hafans-com/ldap2es
  2. 安装依赖；
    cd lda
最低0.47元/天 解锁文章
Bge的博客
关注
专栏目录
ldap服务器用户组权限,ElasticSearch结合LDAP实现权限、用户管控
weixin_39696197的博客
07-30 995
项目背景使用ElasticSearch实现数据宽表，处理热交互数据，需要实现权限管控等功能，权限粒度要求精确到列。最初考虑使用Es的SearchGuard开源插件，发现SearchGuard的LDAP功能需要使用企业版，收费的，并且权限粒度仅支持到索引和type，并不支持列；后来采用Es提供的xpack插件，想办法处理下，就不收费了。Es需要安装xpack插件，配置默认用户，修改elastic用户...
elasticsearch-对接ldap认证
多年互联网一线运维开发经验，为多家企业独立开发过相关运维管理平台，负责过近千台服务器运维管理工作，对运维及运维开发岗位有深入理解。
03-26 1604
单节点es部署完成后，接入ldap
elasticsearch6.0安装xpack并配置ldap认证
weixin_34138521的博客
01-10 1931
elasticsearch概念解释参考： https://segmentfault.com/a/11...elasticsearch安装可参考：https://segmentfault.com/a/11... 安装xpack扩展 下载xpack插件包： https://artifacts.elastic.co/... 通过elastic...
浅谈Elasticsearch安全和权限管理
最新发布
ZL_1618的博客
07-04 874
除了预定义的角色外，还可以创建自定义角色。例如，创建一个名为read_only创建一个名为从时代发展的角度看，网络安全的知识是学不完的，而且以后要学的会更多，同学们要摆正心态，既然选择入门网络安全，就不能仅仅只是入门程度而已，能力越强机会才越多。因为入门学习阶段知识点比较杂，所以我讲得比较笼统，大家如果有不懂的地方可以找我咨询，我保证知无不言言无不尽，需要相关资料也可以找我要，我的网盘里一大堆资料都在吃灰呢。干货主要有：①1000+CTF历届题库（主流和经典的应该都有了）
Security——Spring LDAP
十年梦归尘的专栏
12-08 533
Spring LDAP
ES安全 -LDAP 接入方法
陈洪杰的博客
09-24 2336
注意:该项功能需要license Ldap测试命令 ldapsearch-x-D"cn=username,ou=people,dc=example,dc=com"-wpassword-b"dc=example,dc=com"-p389-hldap.example.com elasticsearch.yml 修改 order 数值越小越优先, ES7.X版本文档的配置项稍有不同，下面这个是6.X的配置，应该是兼容的 xpack: securi...
【ES专题】ElasticSearch集群架构剖析_es集群
2401_84159688的博客
04-28 998
诸如。
【ES专题】ElasticSearch集群架构剖析_es集群(2)
2401_84166258的博客
04-30 776
诸如。
2024年最新【ES专题】ElasticSearch集群架构剖析_es集群，系列篇
2301_79098963的博客
05-05 831
诸如。
ElasticSearch与LDAP的安装和安全认证
ck978105293的博客
09-01 2201
文章目录一、使用Docker安装ES和Kibana1.创建网络2.安装ES3.安装Kibana4.汉化Kibana二、使用Docker安装openLDAP和phpldapadmin1.安装openLDAP2.安装phpldapadmin3.验证是否安装成功三、破解ES XPack1.将复制到自己机器上2.使用反编译工具luyten打开（其他的应该也行）3.将编辑好的文件传回docker容器里4.进入ES容器5.申请License6.加载License四、ES与LDAP的认证1.编辑elasticsearch
大数据组件集成LDAP
11-12
大数据组件集成LDAP的安装手册，可以快速搭建大数据安全服务。
Ldap 增量同步配置
Rebel_z的博客
12-15 278
Ldap 增量同步配置
java中es如何过ldap认证,elasticsearch6.0安装xpack并配置ldap认证
weixin_28691441的博客
03-11 334
elasticsearch概念解释参考：https://segmentfault.com/a/11...elasticsearch安装可参考：https://segmentfault.com/a/11...安装xpack扩展下载xpack插件包： https://artifacts.elastic.co/...通过elasticsearch-plugin命令安装xpack；[[emailprot...
java中es如何过ldap认证,ldap认证（按照上一篇ldap认证步骤编程）
weixin_35318150的博客
03-11 178
package com.test.ldap;import java.util.Hashtable;import javax.naming.AuthenticationException;import javax.naming.Context;import javax.naming.NamingEnumeration;import javax.naming.NamingException;impor...
Elasticsearch 的用户认证和授权
互联网知识分享
07-28 1731
是一个开源的分布式搜索和分析引擎，它能够存储、搜索和分析海量的结构化和非结构化数据。）允许根据用户角色对用户进行授权。可以创建角色，并将用户分配到角色中，然后授予角色对资源的访问权限。，它使用内部用户数据库来进行用户认证和授权。是一种常用的企业级目录服务，用于集中管理用户和权限信息。进行用户认证和授权，以限制用户访问和操作索引的权限。中，用户认证和授权是独立的过程。）对用户进行授权，限制用户访问和操作资源的权限。中的数据安全，限制用户对数据的访问和操作权限。用户认证和授权的概念和实现方法，包括。
ELK LDAP认证
yuezhilangniao的博客
01-09 962
# 使用破解 xpack https://www.jianshu.com/p/7154e80490ad # 使用企业版本 授权SearchGuard 插件 https://blog.csdn.net/qq_18895659/article/details/108770900 # 使用nginx https://www.jianshu.com/p/11538ed7446e?from=timeline&isappinstalled=0 # es nginx http...
ELK - Active Directory LDAP User Authentication
星之空
06-12 1217
Elasticsearch Active Directory踩坑记录。
使用Shield保护ElasticSearch平台--兼权限控制
热门推荐
pan-zy的专栏
12-29 1万+
使用Shield保护ELK平台 ——兼权限控制 ELK系统默认并不含有用户认证功能，基本上任何人都可以随意读写ElasticSearch的API并获取数据，这时该如何对ELK系统做好防护工作呢？ 目标 在读完这篇教程后，您可以学会： 阻拦未授权的用户对ELK平台的访问允许不同用户访问不同的index 方法 这里我们使用Elastic公司的Shield来完成这个工作 Sh
怎么同步LDAP基础数据到第三方信息系统
06-12
LDAP（轻型目录访问协议）是一个用于访问分布式目录服务的协议，而第三方信息系统可能采用不同的协议和数据格式。因此，同步LDAP基础数据到第三方信息系统需要进行一些数据转换和格式适配的工作。 通常的做法是编写一个中间件或者数据同步工具，来实现LDAP数据和第三方信息系统数据之间的转换和映射。具体的步骤可以如下： 1. 连接LDAP服务器，读取需要同步的数据，例如用户信息、组织架构等。 2. 对LDAP数据进行处理，进行格式转换、筛选、排序等操作，以适配第三方信息系统的数据格式和要求。 3. 将处理后的数据通过第三方信息系统的API或者其他方式写入到目标系统中。 4. 可以定期或者实时地执行同步操作，以保证数据的及时性和一致性。 需要注意的是，数据同步过程中可能会遇到一些问题，例如数据冲突、权限控制等，需要根据具体情况进行处理。同时，为了保证数据的安全性和完整性，需要对数据进行备份和监控，以便及时发现和解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值