- 博客(230)
- 资源 (47)
- 收藏
- 关注
原创 【数据存储】TIDB和MySQL的区别
小结:TiDB 是一种分布式的 NewSQL 数据库,具有水平扩展、高可用性和分布式事务支持等特点,适合处理大规模数据和高并发的场景。而 MySQL 则是一种传统的关系型数据库系统,适用于中小型应用和对事务一致性要求不是特别高的场景。选择使用哪种数据库取决于具体的业务需求和技术架构。
2024-03-25 10:46:17
496
原创 污点跟踪算法原理
如果没有做过滤,并且外部也可以随意控制参数的值,例如SQL注入,最终走到了JDBC上执行,那么就可以确定,当前是存在SQL注入漏洞的。这里只是拿SQL注入做个例子,其他类似漏洞也是一样的检测原理,也正是这个原理,让IAST在SQL注入这种类型的检测上面准确率极高。代表污点输入源,和零信任的概念类似,通常我们认为,任何从外部输入的数据都是不受信任的污点数据,都有可能对系统造成危害。代表污点汇聚点,通常是指将会产生安全问题的敏感操作。基于这个漏洞原理,IAST主要的原理就是基于。,但是背后实现的原理不太一样。
2024-01-19 13:46:22
526
原创 信息安全-应用安全-蚂蚁集团软件供应链安全实践
8月10日,由悬镜安全主办、以“开源的力量”为主题的DSS 2023数字供应链安全大会在北京·国家会议中心隆重召开。蚂蚁集团网络安全副总经理程岩出席并发表了《蚂蚁集团软件供应链安全实践》主题演讲。图1 蚂蚁集团网络安全副总经理程岩发表主题演讲我叫程岩,花名“小哥”。这次我的主题分享会从四个方面展开。供应链面临哪些威胁?第一是代码漏洞,第二是供应链恶意投毒,第三是合规断供问题,这次重点讲前两者。代码漏洞和恶意投毒的问题犹如冰山,已经被曝露的漏洞或事件只是海面上的冰山一角,冰山之下还有多少?没有人能准确回答。
2023-08-31 21:47:15
663
原创 互联网大厂技术-elasticsearch(es)- 在数据量很大的情况下(数十亿级别)提高查询效率
这个问题是肯定要问的,说白了,就是看你有没有实际干过 es,因为啥?其实 es 性能并没有你想象中那么好的。很多时候数据量大了,特别是有几亿条数据的时候,可能你会懵逼的发现,跑个搜索怎么一下 5~10s,坑爹了。第一次搜索的时候,是 5~10s,后面反而就快了,可能就几百毫秒。你就很懵,每个用户第一次访问都会比较慢,比较卡么?所以你要是没玩儿过 es,或者就是自己玩玩儿 demo,被问到这个问题容易懵逼,显示出你对 es 确实玩儿的不怎么样?
2023-07-22 20:04:55
1868
3
原创 互联网大厂技术-Redis-集群模型、架构原理、难点应用场景、高频面试问题详解
缓存击穿,是指缓存中没有但数据库中有的数据,并且某一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间(一般是缓存时间到期),持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。缓存击穿看着有点像,其实它两区别是,缓存雪奔是指数据库压力过大甚至down机,缓存击穿只是大量并发请求到了DB数据库层面。可以认为击穿是缓存雪奔的一个子集吧。有些文章认为它俩区别,是区别在于击穿针对某一热点key缓存,雪奔则是很多key。缓存穿透是指查询一个。
2023-07-15 09:05:47
1157
1
原创 信息安全-应用安全-软件成分安全分析(SCA)能力的建设与演进
SCA 概念出现其实很久了。简单来说,就是针对现有的软件系统生成粒度非常细的 SBOM(Software Bill of Materials 软件物料单)清单,然后通过⻛险数据去匹配有没有存在⻛险组件被引用。目前,市面上比较出色的商业产品包括 Synopsys 的 Blackduck 、Snyk 的 SCA 、HP 的 Fortify SCA 等,开源产品包括国内悬镜的 OpenSCA。
2023-07-11 10:44:13
1448
原创 信息安全-数据安全-数据安全平台建设实践
夷山,美团点评技术专家,现任TechClub-Java俱乐部主席,2006年毕业于武汉大学,先后就职于IBM、用友、风行以及阿里。2014年加入美团,长期致力于BI工具、数据安全与数据质量工作等方向。中华,美团点评数据系统研发工程师,2017年加入美团点评数据中心,长期从事于BI工具、数据安全相关工作。
2023-07-07 10:42:43
347
1
原创 信息安全-应用安全-定制化白盒检测 | 越权漏洞治理分享
一、背景在漏洞扫描领域,主流的扫描方式分为黑盒扫描和白盒扫描,其中源代码安全检测即白盒扫描是安全开发流程(SDLC)中非常重要的一部分。传统漏洞大多数都能通过工具的方式检出,但对于越权漏洞,工具较难解决,在对黑盒工具赋能后,无恒实验室又尝试探索对白盒工具赋能进行定制化的扫描,下面将为大家分享无恒实验室利用白盒工具进行越权漏洞治理的思路。二、面临的挑战无恒实验室针对历史越权漏洞进行了梳理,发现涉及的业务种类复杂,同时不同的业务有不同的鉴权模型,也有多种鉴权方式(函数代码、中间件、网关插件、上下游RPC等)。所
2023-07-02 15:32:33
491
原创 互联网大厂技术-Nginx-初高阶使用技巧及参数详解
nginx。官网描述:request processing time in seconds with a milliseconds resolution;指的就是从接受用户请求的第一个字节到发送完响应数据的时间,即$request_time包括接收客户端请求数据的时间、后端程序响应的时间、发送响应数据给客户端的时间(不包含写日志的时间)。官方文档:Module ngx_http_log_module。
2023-06-28 17:55:03
218
原创 互联网大厂技术-HTTP请求-Springboot整合Feign更优雅地实现Http服务调用
本章内容讲解重点目标以及面向用户了解feign的原理掌握feign的使用学会feign多种header的设置方式学会feign日志控制了解feign高阶配置项其他开发注意事项。
2023-06-28 14:50:40
2972
5
原创 Java技术-接口文档-Swagger2&Swagger3&接口文档UI整合
Swagger 说明Swagger是为了解决企业中接口(api)中定义统一标准规范的文档生成工具。方便各大后端小基友的懒问题,但是写注解也是妥妥的麻烦,但是如果版本迭代快或者人员的流动性大,会导致很多问题。所以很多企业中都会有统一的规范文档,来定义接口标准。
2023-06-21 13:01:57
2132
原创 MySQL数据库技术-生产环境日常操作【alter】
主键作用于列上(可以一个列或多个列联合主键),添加主键索引时,需要确保该主键默认不为空(NOT NULL)。该语句创建索引的值必须是唯一的(除了NULL外,NULL可能会出现多次)。删除主键时只需指定PRIMARY KEY,但在删除索引时,必须知道索引名。该语句添加一个主键,这意味着索引值必须是唯一的,且不能为NULL。可以使用 SHOW INDEX 命令来列出表中的相关的索引信息。该语句指定了索引为 FULLTEXT ,用于全文索引。可以通过添加 \G 来格式化输出信息。添加普通索引,索引值可出现多次。
2023-05-31 19:14:19
878
原创 信息安全-数据安全-字节大数据平台安全与权限治理实践
A3:答案是否定的。第一,正常情况下数据应用是经常性的,并且数据权限是全鉴权机制,若在用户数据同时出现在双日志中此部分数据权限不会被判定为冗余权限也不用影响到数据的应用。数据审计:数据审计主要分为三部分,数据的访问行为审计、数据授权的审计以及聚焦于数据安全产品本身可操作行为的审计。A2:以单人来举例,一个用户在治理前拥有 100 个权限,其中 50 个长期不访问,那么他的权限冗余占比为50%,通过治理回收了长期不访问的 50 个权限中的 40 个,那么治理后的权限冗余占比为 10/60=16.67%。
2023-05-20 10:21:45
1347
原创 信息安全-应用安全-SCA技术:SBOM应用实践初探
供应链(Supply Chain)指生产及流通过程中,涉及将产品或服务提供给最终用户活动的上游与下游企业所形成的网链结构,即将产品从商家送到消费者手中整个链条。供应链的活动是指将自然原材料不断组装成消费者需要的成品的过程,描绘了产品供给关系。整个供应链系统涉及到人员、组织、材料、数据等。
2023-05-20 10:19:17
854
原创 java服务-常用技术-生僻函数、方法、技巧
此方法返回的数组包含此字符串的子字符串,每个子字符串都由另一个匹配给定表达式的子字符串终止,或者由此字符串末尾终止。如果表达式不匹配输入的任何部分,那么所得数组只具有一个元素,即此字符串。如果 n > 0,则模式将被最多应用 n - 1 次,数组的长度将不会大于 n,而且数组的最后一项将包含所有超出最后匹配的定界符的输入。如果 n = 0,那么模式将被应用尽可能多的次数,数组可以是任何长度,并且结尾空字符串将被丢弃。如果 n < 0,那么模式将被应用尽可能多的次数,而且数组可以是任何长度。
2023-05-17 10:25:28
387
原创 信息安全-reNgine-Web应用渗透测试的自动化网络侦察框架
reNgine是一款针对Web应用渗透测试的自动化网络侦察框架,广大研究人员可以在针对Web应用程序的渗透测试过程中使用reNgine来实现信息收集,reNgine提供了一个自定义的扫描引擎,可以用于对网站和终端节点进行扫描和信息收集。reNgine的优点在于它把所有的东西都集中在了一个工具之中,并且提供了一个高度可定制的的侦察方式。如果你需要对一个目标执行网络侦察,收集终端节点信息、查询目录、查询文件、抓取屏幕截图并获取所有处理结果时,reNgine就非常有用了。
2023-04-21 14:48:40
601
原创 互联网研发晋升答辩汇总
特别是一些表义比较泛的词语,在不同的语境都有着不同的含义,比如“架构”这个词,不同的人在不同的时期,在不同的场景对它的定义就不同。比如你讲某个地方的优化使用了缓存,此时需要对于缓存使用有自己的方法论,对于缓存其适用场景,优劣势,原理都尽在掌握,下次遇到类似的问题还可以解决,而且可能还是不同的方案,但是做事的方法和逻辑一样。服务和性能等词语都是比较泛的,比如性能可能是查询的性能或者写入的性能,并且不同的性能其对应的优化方案完全不一样,有些是技术点的优化,有些可能是整个架构的调整。当初的预期是怎样的?
2023-03-11 07:52:54
1376
原创 Java服务-常用技术-logback中totalSizeCap和maxHistory无效的解决办法
最近接入的安全日志项目较多,由于数据量贼大,导致日志输出过多,然后服务器不断报警,经过排查发现logbook中配置的totalSizeCap和maxHistory均没有生效,本来配置的7天,结果发现服务器上日志文件存了60多天,导致服务器磁盘扛不住。特此记录寻找到的解决办法,如下,供同行一起学习交流;totalSizeCap 无效 升级logbackjar包到1.1.8版本,最好升级到1.2.0版本,因为1.2.0解决了当文件总大小大于2G时不能自动删除旧文件的问题,因为源码中有个文件大小判断是错误的。
2022-11-21 09:52:44
3717
原创 Flink Back Pressure(背压)实现与监控
从1.5版本开始引入了 back pressure,实现自动调节数据的传输速率,其监听所有作业的 onBatchCompleted 事件,并且基于 processingDelay、schedulingDelay、当前批处理的记录条数以及处理完成事件来估算出一个速率,用于更新流每秒能够处理的最大记录的条数。对比来看,Spark Streaming 的 back pressure 比较简单,主要是根据下游任务的执行情况等,来控制 Spark Streaming 上游的速率。默认配置,大约会花费五秒钟。
2022-11-20 11:25:57
880
原创 信息安全-数据安全-数字化新业态下数据安全创新——Token化
Token化(Tokenization)是通过不敏感的数据等价替代物Token来替换个人敏感数据,在业务系统中流通来降低数据风险和满足隐私合规的方案。Token化属于去标识化技术的一种。最早出现在支付卡行业(PCI)场景替换银行卡(PANs),目前有趋势替换通用数字化场景中的个人敏感信息(PII)。个人唯一标识信息(PII):任何可以直接、间接关联到具体的自然人的唯一标识信息如身份证件、手机号、银行卡、电子邮件、微信号或者地址。单独依赖PII信息,结合其他公开信息,就可以找到自然人。
2022-10-12 11:26:46
1322
原创 信息安全-网络安全的三大支柱和攻击向量
我们曾经设想,在即将来临的万物互联时代,要对联网的万事万物(物联网设备)都分配数字身份。中,但不会提供有关该组成员具备的访问权限的详细信息,也不会提供对特权会话期间收集的详细会话日志或键盘记录的访问能力。从上述攻击链的四个阶段来看,身份攻击的重点在于其中的两个阶段:入侵阶段和利用阶段。随着机器学习(ML)和人工智能(AI)的进步,现在可以发现和处理大量的运营数据,以揭示隐秘的洞察和可操作的指示,远远超越了。通过在身份的整个生命周期中嵌入策略和控制,组织可以实现增强的自动化、持续的合规性、降低的安全风险。
2022-10-09 15:32:42
3951
原创 Java技术-Springboot技术入门-创建项目
本节,我们将为您详细讲解如何使用 IDEA 创建一个 Spring Boot 项目。使用 IntelliJ IDEA 创建一个名称为 helloworld 的 Maven 项目
2022-10-08 16:45:41
294
原创 Tcpdump 抓包(http请求抓包)
0x4745 为"GET"前两个字母"GE"0x4854 为"HTTP"前两个字母"HT"说明: 通常情况下:一个正常的TCP连接,都会有三个阶段:1、TCP三次握手;2、数据传送;3、TCP四次挥手。
2022-10-08 14:17:51
3821
原创 信息安全-零信任-SDP技术到底有多能打?
SDP架构需要用户安装客户端,所以SDP对终端的安全控制更强,客户端和网关联动能产生更严密的防护效果。但客户端也限制了SDP的应用场景。一些公开的网站没法用SDP保护。SDP特别适用于合作伙伴、供应商、第三方人员、分支机构等等特定人群访问业务系统的场景。这些系统需要在互联网上开放,以便第三方人员访问。但是又不需要向全世界所有人开放,引来黑客攻击。这种场景下,SDP能保证合法用户正常连接,对未知用户“隐形”。SDP在这类场景下是相当能打的。
2022-10-03 11:32:30
1081
原创 信息安全-零信任-SDP技术概论及落地模型
那么究竟什么是SDP呢?客户端在进行数据访问前,首先要通过控制平面和SDP控制器、应用服务器建立认证、授权通道,在认证通过并获得访问授权后,SDP控制器确定一个客户端可以被授权通信的主机列表,然后客户端才能在数据平面建立起与应用服务器之间的数据访问通道,允许正常访问的流量通过,因此这种访问控制模型天然具备抵御资源消耗性攻击(DDos)的特征。以上四点是对SDP工作流程的核心概述,SDP要求端点在对被保护的服务器进行网络访问前首先进行认证和授权,然后,在端点和应用基础设施之间建立起实时的加密连接访问通路。
2022-10-03 11:26:24
2921
原创 信息安全-零信任技术-SDP是什么,SDP可以防御哪些安全威胁
零信任 SDP 为用户提供独特的固定身份和微隔离访问,仅供访问所需的资源,如此一来,被感染设备对整个网络产生的影响就非常有限了。幸运的是,名为软件定义边界 (SDP) 的远程访问新范式采用零信任方法,以基于身份的细粒度访问代替广泛的网络接入,提供重要 IT 资源访问。从不掉线的软件定义边界在应用层守护网关安全,把守通往云基础设施及其相互之间的交通要道,构筑健壮的安全框架。名为软件定义边界 (SDP) 的远程访问新范式采用零信任方法,以基于身份的细粒度访问代替广泛的网络接入,提供重要 IT 资源访问。
2022-10-03 11:23:12
6232
原创 NGINX 日志配置Main、Json格式及参数详解
proxy_set_header X-Forwarded-For :如果后端Web服务器上的程序需要获取用户IP,从该Header头获取。配置以上配置后,/static/ 相关的日志会被单独记录在static-error.log文件中。open_log_file_cache: 定义日志文件缓存。access_log用来定义日志级别,日志位置。access_log: 定义日志的路径及格式。log_format: 定义日志的模板。log_format 定义日志格式。access_log日志配置。........
2022-08-29 13:36:53
1738
原创 信息安全-应用安全-SAST、DAST、IAST
但实际上,我们经常发现SAST,DAST,IAST等十分近似的名词让许多企业的安全负责人都缺乏清晰的理解。我们可以看到,与SAST和DAST类产品相比,IAST类产品拥有明显的优势。因为IAST不仅拥有安全测试上的能力优势,也更容易与DevOps紧密结合,帮助机构在不降低发布效率的前提下完成安全测试。与SAST相反,DAST(Dynamic Application Security Testing,动态应用程序安全测试)对应用程序进行黑盒分析,这意味着它们不能访问代码或实现细节。即插即用,无需配置或调参;.
2022-08-16 20:19:16
2714
原创 java服务-常用技术-在切面中应用统一日志记录器
在springboot springmvc springcloud 等程序中,我们经常会要记录一些日志信息,但是每次我们都需要每个action单独建立对应的异常捕捉机制,这里就非常麻烦;所以笔者这里专门制作了一套通用的拦截器和统一的日志记录器,用于在程序入口处卡点,记录用户请求的接口、包名、类名、方法名、入参、出参、请求完整耗时,用于日志记录;希望能帮助到入门的朋友们;日志拦截器的应用补充涉及到的代码...
2022-06-18 12:02:23
356
原创 java服务-高性能队列-Disruptor使用场景
Disruptor是一个优秀的并发框架,可以实现单个或多个生产者生产消息,单个或多个消费者消息,且消费者之间可以存在消费消息的依赖关系。网上其他博客往往仅针对框架的一部分使用示例进行了介绍,对于某些场景下介绍并不完全:如多生产者间复杂的依赖关系的使用编码。本文尽可能对Disruptor的所有使用场景进行总结,如有不全之处欢迎指出,请谅解。具体关于Disruptor的原理,参见:http://ifeve.com/disruptor/,本文不在赘述。在disruptor框架调用start方法之前,往往需要将消息
2022-06-17 14:02:57
4475
1
原创 信息安全-安全专业名称|CVE|RCE|POC|VUL|0DAY
CVE 的英文全称是“Common Vulnerabilities & Exposures”通用漏洞披露。CVE就好像是一个字典表,为广泛认同的信息安全漏洞或者已经暴露出来的弱点给出一个公共的名称。使用一个共同的名字,可以帮助用户在各自独立的各种漏洞数据库中和漏洞评估工具中共享数据,虽然这些工具很难整合在一起。这样就使得CVE成为了安全信息共享的“关键字”。如果在一个漏洞报告中指明的一个漏洞,如果有CVE名称,你就可以快速地在任何其它CVE兼容的数据库中找到相应修补的信息,解决安全问题。全称:remote
2022-06-16 13:27:02
1460
原创 Flink 使用之 CEP
Flink 使用介绍相关文档目录CEP的全称为Complex Event Processing,中文翻译为复杂事件处理。光看字面意思解释还是很难理解。究竟何为“复杂事件”?通常我们使用Flink处理数据流的时候,只是对每个到来的元素感兴趣,不关注元素之间的关系。即便是有也仅仅是使用有状态算子而已。现在有一种需求,我们需要关注并捕获一系列有特定规律的事件,比方说用户登录,转帐,然后退出(ABC事件连续发生),或者是比如机房连续10次测温均高于50度(A{10,}),我们采用传统方式写Flink程序就比较困难。
2022-06-14 13:42:36
923
原创 Gartner:关于零信任网络访问最佳实践的五个建议
近年来,零信任获得了国内外的广泛认可,例如美国国防部、标准化机构NIST都在积极推动零信任的落地与标准化,国内工信部也将“零信任安全”列入需要着力突破的网络安全关键技术,国内多项零信任标准项目也在积极推进中。但是,零信任之路仍然充满挑战。尽管零信任能够带来很多好处,但真正开始实施时,很多企业还是缺乏落地经验。Gartner通过调研分析,总结出成功实施零信任网络访问(ZTNA)项目的五个建议。奇安信身份安全实验室结合自身实践经验,在这里给大家做一些简单解读。尽早规划企业业务需求Gartner建议企业组织在实施
2022-06-14 13:18:43
950
原创 信息安全-威胁检测-flink广播流BroadcastState双流合并应用在过滤安全日志
威胁检测-flink双流合并应用在过滤安全日志威胁检测的场景囊括了各种服务器(前端服务、java、go、php、数据库等各种不同种类的服务器),并且日常从服务器中采集的日志种类又达到数十种之多,从这些日志里面我们要做威胁分析存在各种难点,首先第一步就是要从这些日志里面提取出真正有威胁的日志,把那些没有危险的日志过滤掉,那么挑战就来了,如何过滤掉那些我们可信的日志,比如MySQL服务器上的日志里面,我们需要把我们自己log-agent进程对应的日志去掉。先看我们整体的处理流程,该流程重点是在第4步,flink
2022-06-05 15:57:48
825
原创 信息安全-威胁检测-NAT日志接入威胁检测平台详细设计
我们先看下NAT的几种模型,nat包括nat、snat、dnat三种,三者是一种抽象继承关系,如下先看下这些基础;[root@slave-mysql ~]# vim /etc/resolv.conf -->存放dns服务器ip地址的,真正我们进行域名查询的时候,就到这个文件里找dns服务器地址# Generated by NetworkManagernameserver 114.114.114.114NAT解决的问题NAT实现方法的工作过程:NAT 的优点linux里的NA
2022-06-04 19:47:52
995
原创 信息安全-威胁检测日志采集-Java服务自动阶梯限流方案
618大促流量一路狂飙,用java springboot 开发的日志服务作为威胁检测安全日志通路的入口,不能让程序被打挂导致服务不可用,所以我们采取阶梯的限流模型,以确保高峰期间绝大部分流量会被处理,而不至于让程序被打挂导致大量日志丢失。......
2022-06-04 18:01:57
535
原创 信息安全-威胁检测引擎-常见规则引擎底座性能比较
近期需要用到规则引擎来做数据处理和威胁检测引擎,所以对市面上常见的集中常见的规则引擎常用的几种技术方案做了调研,我采用同样的规则,分别采用下面规则引擎执行100万次、1000万次、5000万次,每个场景执行3次取平均值得出如下表格的结果,从性能测试结果来看,groovy胜出,性能最佳
2022-05-31 11:48:45
1582
原创 大数据技术-flink-利用RichMapFunction和AggregateFunction计算系统访问量PV\UV
很明显,由于上游在keyby处理后,导致下游不同分区数据分配不均衡,导致不同分区到达的水印不一致,这种情况下可以考虑收缩分区数量;
2022-05-30 21:50:47
694
原创 java服务-springboot拦截器实现用户登录Token及权限校验
springboot拦截器主要目标:拦截请求,验证请求的用户对访问的资源是否有访问权限;需要排除一些不在权限控制范围内的url,如swagger的接口文档列表;需要排除的url,在配置文件中进行配置;双拦截器
2022-05-30 09:16:17
4335
原创 信息安全-安全编排自动化与响应 (SOAR) 技术解析
提升安全响应效率不能仅仅从单点去考虑,还需要从全网整体安全运维的角度去考虑,要将分散的检测与响应机制整合起来。而这正是 SOAR 要解决的问题。
2022-05-30 08:50:13
9803
CVE-2019-5736-PoC验证环境需要的文件docker18.03,go1.9
2020-10-20
springcloud-code-generator20190819.rar
2019-08-19
广告概念.docx
2019-05-10
mybatis3+springmvc4+angularjs+mysql+decorator实例
2015-12-23
CruiseControl.NET-CCTray-1.8.2.0-Setup.exe
2012-11-06
iPhone消息推送机制实现与探讨.docx
2012-04-23
LINQ中文版文档 菜鸟,老手都适合
2010-06-08
ListView 添加Combox textbox 以及其他控件
2009-07-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人