- 博客(55)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 办公网安全建设
背景广泛的讲安全，大致分为 网络安全 主机安全 应用安全在互联网，网络安全基本指的就是办公网的整体安全建设，IDC机房因为现在使用的都是云，所以基本不用操心这类安全。主机安全一般HIDS来做。应用安全从项目立项到上线之后的监控和SRC整套流程涉及的细节都非常的多，幸运的是我基本都做过，现在有幸参与公司的办公网安全建设。现在总结一下办公网安全建设,每一个场景都是亲身经历。其次，办公网流量分...
2020-05-07 12:06:56
1430
原创 越权类漏洞检测总结
平时遇到的一些零星的安全问题，总结一下：1.在SDL中，越权类漏洞如何检测？在应用安全实践中，目前已知的OWASP TOP10 很多都是可以通过框架或者一些组件解决的，再加上DAST/IAST/SAST这些产品的集成，一般的漏洞类型都是可以检测出来的并处理掉的，但是业务逻辑类漏洞是个例外，以至于现在很多的SRC上爆出来的都是越权这类的业务逻辑类漏洞，越权类漏洞分3种，未授权访问/平行越权/垂直...
2020-05-04 23:18:45
2658
原创 爬虫与反爬虫技术分析
科普：什么是爬虫：百度百科：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫什么是反爬虫：百度百科：很多网站开始保护他们的数据，他们根据ip访问频率，浏览网页速度，账户登录，输入验证码，flash封装，ajax混淆，js加密，图片，cs...
2020-02-27 11:28:15
6942
原创 企业内网安全账号风控
内外安全建设：背景：对于内网安全建设，存在的很多通用并且很棘手的问题，比如弱密码，比如账号泄露，账号共享,默认账号，员工一般认为在内网我就是安全的，所以放松警惕，当出现安全问题的时候,又说这不是自己的行为，这就给安全造成很被动的处境(我账号很多人都在用,凭啥是我干的,等理由)基于上述的场景。我们可以做一套类似风控的系统将上述行为管控起来。对公司涉及到登陆的操作以及敏感系统的登陆操作,提供登...
2020-02-16 20:14:56
680
原创 反爬虫机制实践中可能遇到的坑
背景：反爬涉及的内容太大了。之前给公司内部写过一篇文章，往细节了写发现内容真的是太大了。随着2019年法律的健全，搞爬虫的公司各种被抓，没被抓的又是人心惶惶。就算如此，有利益的地方就有商业。取决于收益和成本的较量。反爬就是提高爬虫的成本。写写最近接触过的反爬虫产品。很多公司做产品都会对标一些大厂，学习他们的实现方案，这里可以参考阿里的霸下-七层流量清洗系统我一直觉得业务安全做好了，反爬虫肯定...
2019-12-15 11:40:01
525
原创 MAC 部署Django笔记
入职第一天,部署环境踩坑笔记系统: Mac OS语言：python框架：django1.brew首先是brew的安装，系统报403https://zhuanlan.zhihu.com/p/111014448通过该脚本一键安装，并导入国内源，简单方便一步到位2.python3 安装brew install python3重启 pycharm最好使用虚环境3.pip安装...
2020-04-20 14:43:02
434
原创 基于SDP技术构建零信任安全
视频链接：http://picture.17wclass.com/kc/20200228/13293828022063d5f518194200.mp4内容摘要：物理边界曾经是可信网络和不可信网络之间的有效分割，防火墙通常位于网络的边缘，基于静态策略来控制网络流量。位于防火墙内部的用户会被授予高信任等级来访问企业的敏感资源，因为他们被默认是可信的。但随着业务迁移到云端，APT攻击的泛滥，以及...
2020-03-11 18:44:25
7011
原创 安全研发备战笔记
做安全研发太难了。。。。渗透得懂，开发得会，企业安全建设得精。WEB渗透测试：https://www.jianshu.com/p/bce07495b77chttps://blog.csdn.net/yexudengzhidao/article/details/93527586https://blog.csdn.net/autumn20080101/article/details/5107...
2020-03-10 13:46:24
283
原创 spring-boot elasticSearch getHighlightFields()踩坑笔记
使用过程参考：https://blog.csdn.net/Amor_Leo/article/details/101018008我使用的ES版本是最新的。目前最新的版本是7.5.0<dependency> <groupId>org.elasticsearch</groupId> <artifactId>...
2020-02-13 09:28:54
4487
9
原创 业务安全风控探究
如何评估一个好的风控系统，如何判断一个公司风控做的好坏。作为一名安全工程师,总结一下之前做风控坑坑洼洼github上关于业务风控的项目：##风控相关的github：https://github.com/sunpeak/riskcontrolhttps://github.com/aalansehaiyang/risk-talkhttps://github.com/WalterInSH/ri...
2019-11-15 17:03:41
380
原创 selenium chrome 爬虫
环境：macchrome:版本 75.0.3770.100（正式版本） （64 位）这个是自己chrome 客户端的版本安装chromedriver下载地址：http://chromedriver.storage.googleapis.com/index.html下载完成后，解压。直接copy 到/usr/local/bin/...
2019-06-19 23:10:40
520
原创 python 多线程工具开发
第一个版本：场景：我有一个函数，传入一个参数，执行需要耗时5s,现在我有一个列表存着1000个参数,需要遍历 让这个函数去执行。实现方式：多线程(必须保证线程安全)# !/usr/bin/env python# -*- coding:utf-8 -*-import Queueimport threadingimport timeclass WorkManager(objec...
2019-05-18 21:16:49
362
原创 kibana统计数据展示demo
kibana统计数据展示demo数据有了。想做一个报表出来,却又不知道该怎么做。恰好手头有一个合适的商业demo,扣过来学习学习借鉴借鉴再往下：接下来是每一个的实现部分：主机威胁-统计：{ "query": { "bool": { "must": [ { "query_string": { "quer...
2019-03-20 20:30:42
9271
1
原创 tensorflow 服务上线小记
2个docker 容器一个用来 训练网络生成model,一个用来部署线上服务分为线上与线下两层。线上实时服务要求毫秒级判断文本是否属于垃圾文本，线下离线计算需要根据新进的样本不断更新模型，并及时推送到线上。2个容器启动时挂载相同的宿主机目录，这样tf 容器生成的model 文件方便serving 服务器直接使用各种版本的tensorflow下载：https://tensorflow.goog...
2019-03-01 20:47:02
317
原创 tensorflow Serving安装与服务部署
基础环境：centos7,默认自带的Python2.7默认的JDK是openjdk1.7,需要升级。先卸载1.7rpm -qa | grep java | xargs rpm -e --nodeps 批量卸载所有带有Java的文件yum install java-1.8.0-openjdk* -y如果发现安装不了。安装yum 源到网易和阿里开源镜像站点下载系统对应版本的repo文件[...
2019-02-28 18:13:12
1831
原创 anaconda 在ipython下灵活切换 虚环境
使用conda作为开发环境,做机器学习必须使用ipython 一步一步的调试。conda 打开ipyhon 默认使用默认的内核,无法切换我们的虚环境。这种情况就比较尴尬。解决办法如下：conda activate xx切换到我们的虚环境conda install nb_conda然后:都有了。这个时候我们直接点开：所有的环境都有了。可以灵活的切换。问题来了。当我们默认pyth...
2019-02-26 19:07:46
838
原创 关于被动式扫描的一些看法
被动式扫描,其实是一个非常好的想法，可以让安全人员躺着挖洞，但是也有很多的缺陷，比如存储型XSS,挖不动,逻辑漏洞,越权漏洞不行。这不仅仅是被动式扫描的缺陷，就是业内商业产品也不行。要不怎么安全渗透工作无可替代呢。现在就来聊聊2款开源的被动式扫描吧。1.https://github.com/ysrc/GourdScanV2 Gourdscan2.https://github.com/...
2019-02-25 10:25:03
2961
转载 Tornado 异步非阻塞
原文出处：https://blog.csdn.net/u013038616/article/details/72821600这篇帖子写的挺到位的。补充一些asyncio的知识
2019-02-02 17:55:28
139
原创 Tensorflow 迭代完成逻辑回归模型
首先需要下载一个Tensorflow 内置的数据集mnistimport numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_dataprint ("packs loaded")print ("Down...
2019-01-31 18:13:36
214
原创 Tensorflow 构造线性回归模型
一个简单的使用Tensorflow 实现的线性回归模型demoimport tensorflow as tfimport matplotlib.pyplot as pltnum_points = 1000vectors_set = []for i in range(num_points): x1 = np.random.normal(0.0,0.55) y...
2019-01-31 18:07:55
220
原创 Elasticsearch api 增删改查,批量获取mget,批量操作bulk,版本控制version,映射mapping
标题内容有点多，挨个总结一下：单模式下的api 增伤改查：批量获取mget批量操作bulk如何批量创建，删除，更新文档呢，就要用到bulk，上面介绍了单模式下的操作。bulk是多模式下的批量操作bulk 就是为了实现多个文档的create,index,update 或者delete请求体格式：json 格式不允许使用格式化后的json,所以后面的\n得注意。ES的设计bulk 处...
2018-12-01 20:29:58
442
原创 ES基本查询，filter 查询，组合查询
Elasticsearch 是功能强大的全文搜索引擎，用它的目的就是为了能快速的查询你想好要的数据基本查询：利用Elasticsearch内置查询条件进行查询组合查询：把多个基本查询组合在一起的复合性查询过滤：查询的同时，通过filter条件 在不影响打分的情况下筛选出想要的数据基本查询：1.term,terms查询2.from,size3.返回版本号_version4.match...
2018-11-29 23:35:43
33619
1
原创 Tornado 框架实践
1.Tornado 基本操作：– 路由系统url -> 类（根据method执行方法）–控制器class Foo(xxxxx):def get(self):self.render ##模板引擎的渲染self.write ##直接返回self.redirect ##跳转self.getargument()self.getarguments()self.get_...
2018-11-18 20:48:52
181
原创 python django 一个完整的简单的 jquery DataTable 的demo
首先是前端代码吧：&lt;script src="/static/jquery.min.js" type="text/javascript"&gt;&lt;/script&gt;&lt;script src="/static/jquery.dataTables.min.js" type="text
2018-11-12 22:01:52
1483
原创 pyhon 万能通用分页功能开发
做开发不做通用的功能怎么对得起自己的良心呢?分页功能算是开发攻城狮必不可少的知识点吧。今天在这里总结一下。代码如下：# coding:utf-8class Pagination(object): def __init__(self,totalCount,currentPage,perPageItemNum=10,maxPageNum=4): # 数据总个数 ...
2018-11-10 23:08:39
136
原创 anaconda使用手册
安装Anaconda时候，访问的是国外的网络，所以下载Anaconda和安装包时会特别慢。我们需要更换到国内镜像源地址，使用清华源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes接下来更新co...
2018-11-06 22:43:23
1163
原创 网站日访问量,在线用户数，等如何统计？
最近接触到一些审计相关的事情，公安需要提供一些网站用户相关的数据，作为安全也不知道该找谁问，反正问谁也不知道，只能甩锅。刚好最近学习了一个神奇的知识点可以解决这个问题。在这里做个笔记使用redis 用最省空间的方式，存储在线用户数及分别是哪些用户在线getbit(name, offset) # 获取name对应的值的二进制表示中的某位的值 （0或1） 默认是0bitcount(ke...
2018-10-31 18:54:40
8483
原创 如何让测试人员干安全的基础测试工作？
我是一个不喜欢机械化的工作的人。比如渗透测试的一些基础工作挖XSS漏洞，一天两天还行，可要是每周若干项目上线而我们安全却要苦逼的频繁的给这些系统做安全渗透工作，有新奇的手法值得好好研究，不然我是非常不愿意的。没耐性。所有我更愿意做安全开发的工作，有一天领导说我们要把一些基础的安全测试工作交给测试同学去做，我们去做更有价值的事情，这个时候我觉得非常和我的思想相吻合。我觉得这也是安全测试的一个主流方...
2018-10-31 10:35:58
343
原创 代码审计平台开发
关于代码审计，这个东西在安全里面还是占了非常重要的一个模块。有钱的买商业产品，没钱的自己搞搞科研，也可以自己招人开发一个出来，参差不齐。作为一名安全开发其实我也挺想做这一块的，公司内部其实已经有人在做了，突然有一个想法，自己做个开源的产品。集众多开源产品之所长，整个各家资源做一个出来。和公司没有关系。接下来是架构，开源的代码审计平台有：RAPS(http://rips-scanner.sour...
2018-10-29 13:45:10
1540
3
原创 企业域名管理系统的搭建&数据库高可用改造
之前有负责过公司的内网域名系统的开发以及一部分的建设。在这里做个总结。首先第一个问题：商用的域名管理平台有DNSPOD，有阿里的域名管理平台，还有一些小众平台，比如dns.la等。有些做运维的同学都不是特别明白，我们使用公网的DNS系统就可以啊，为啥你们公司还搞个内部的DNS服务，我们之前都不需要。解答：使用公网DNS服务的时候，我们企业内部服务之间的调用是这样的：公司内部服务之间的调用量...
2018-10-27 11:50:34
998
原创 企业域名管理系统的搭建&数据库高可用改造
之前有负责过公司的内网域名系统的开发以及一部分的建设。在这里做个总结。首先第一个问题：商用的域名管理平台有DNSPOD，有阿里的域名管理平台，还有一些小众平台，比如dns.la等。有些做运维的同学都不是特别明白，我们使用公网的DNS系统就可以啊，为啥你们公司还搞个内部的DNS服务，我们之前都不需要。解答：使用公网DNS服务的时候，我们企业内部服务之间的调用是这样的：公司内部服务之间的调用量...
2018-10-27 11:50:34
308
原创 日志分析系统架构
架构图参考饿了么业务分析系统，参考链接：https://mp.weixin.qq.com/s/OlymUeojtcVrPm5xUJQyXg在对方的图上做了进一步的改进。ES并不适合长期存储数据，索引越多后面遇到的瓶颈越多。所以把ES做为一个准实时的存储，同时在ES上进一步发掘有问题的数据，采用开源的elastalert。mysql 用来作为soc的存储引擎，存储所有的事件，等等平台相关的东西。...
2018-10-26 11:16:41
1700
原创 python编译exe文件
小demo:# -*- coding: utf-8 -*-"""第一个程序"""import subprocessprint ("Hello World!" )print ("Hello Again")print ("I like typing this.")print ("This is fun.")print ('Yay! Printing.')p
2018-10-23 23:14:24
3545
原创 elastalert告警处理
使用POST的方式接收告警，然后后端自己处理。接收到的告警数据如下：{u'total_time': 0.002, u'http_user_agent': u'"Java/1.8.0_91"', u'@timestamp': u'2018-10-23T09:56:30.203Z', u'kafka': {u'topic': u'nginx-access-lan', u'partition': 4...
2018-10-23 18:21:20
682
1
原创 git使用中遇到的坑啊
password 一直提示输入密码：$ git clone [email protected]:liangyi/soc.gitCloning into ‘soc’…[email protected]’s password:Permission denied, please try [email protected]’s password:这是秘钥问题导致的。先删除秘钥。问...
2018-10-23 14:42:38
502
原创 git使用手顺
一个low的开发可能还不是太需要这个东西，一个人的安全部可能也不太需要。一个团队的开发那就得需要了。团队协作开发这个东西必须得懂。所有如果你觉得自己貌似用不到git也可以呀，那只能说明你还没达到那个规模。更准确的说是一个人的开发。git让团队协作变得更加简单。其次就是版本管理，如果不知道什么是版本管理，那只能说明你写的代码根本不重要，丢了也就丢了。并且也不存在迭代的问题。在公司可能一年就让你琢磨这...
2018-10-16 23:27:44
449
原创 SOC系统规划
做安全2年多,前期做web渗透，后期做安全开发，准备将自己用的系统和一些开源的系统整合成一套，统一管理，方便使用。业余整理了一下。如图：一条一条的来介绍一下吧！1.sec漏洞管理是安全最基础的系统搭建了。毕竟每天都面对这漏洞的产生和修复。这个中间流程也变的多了起来。漏洞待认领，漏洞已认领，漏洞修复中，漏洞已修复、漏洞被驳回、这样的一个闭环的实现，我们通过钉钉工单使其成为一个闭环。其次是SDL...
2018-10-14 22:31:28
3768
原创 ES业务监控系统的设计
ES告警有2个选择：1：Watcher2:elastalert这篇文章主要介绍ElastalertElastAlert是Yelp公司开源的一套python2.6写的报警框架属于后来Elastic.co公司出品的Watcher同类产品http://elastalert.readthedocs.orgelastalert会将自己查询的历史记录存在es里面执行：curl -s 192.1...
2018-10-09 21:18:27
1386
原创 ESRESTful和安装介绍
什么是RESTFul？中文意思是“表现层状态转化”CURL命令 ：以命令形式执行HTTP协议的请求的工具可以通过CURL执行HTTP的GET/post/PUT/DELETE方法curl 获取执行路径：curl --trace output.txt www.baidu.comcurl 执行GET/POST/PUT/DELETE操作：curl -X GET/POST/PUT/DELET...
2018-10-07 22:11:01
321
DevSecOps在金融机构落地实践.pdf
2019-12-20
Mac OS操作系统安全配置加固基线.docx
2019-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人