自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 PySpark 的背后原理--在Driver端,通过Py4j实现在Python中调用Java的方法.pyspark.executor 端一个Executor上同时运行多少个Task,就会有多少个对应的...

PySpark 的背后原理Spark主要是由Scala语言开发,为了方便和其他系统集成而不引入scala相关依赖,部分实现使用Java语言开发,例如External Shuffle Service等。总体来说,Spark是由JVM语言实现,会运行在JVM中。然而,Spark除了提供Scala/Java开发接口外,还提供了Python、R等语言的开发接口,为了保证Spark核心实现...

2019-09-25 16:22:00 44

转载 python为什么要使用闭包

为什么要使用闭包闭包避免了使用全局变量,此外,闭包允许将函数与其所操作的某些数据(环境)关连起来。这一点与面向对象编程是非常类似的,在面对象编程中,对象允许我们将某些数据(对象的属性)与一个或者多个方法相关联。一般来说,当对象中只有一个方法时,这时使用闭包是更好的选择。来看一个例子:def adder(x): def wrapper(y): r...

2019-09-24 21:39:00 66

转载 字符串解压缩问题——贪心算法

import sysdef load_data(): return sys.stdin.read()def get_position_map(s): result = {} stack = [] for i,c in enumerate(s): if c == "[": ...

2019-09-24 19:56:00 49

转载 有意义的单词分割——经典dfs题目

import sysimport jsondef load_data(): data = json.loads(sys.stdin.read()) return data["string"], set(data["word_list"])def dfs(s, start, words, arr, results): if...

2019-09-24 19:55:00 27

转载 Charles 4.2.1 HTTPS抓包

Charles 4.2.1 HTTPS抓包CharlesiPhone抓包Mac必须与iPhone连接同一WiFiProxy->SSL Proxying Settings->SSL Proxying->AddHost:为需要过滤的域名地址,*表示不过滤Port:固定为443,*...

2019-09-21 10:51:00 45

转载 ARP欺骗

ARP欺骗的运作原理是由攻击者发送假的ARP数据包到网上,尤其是送到网关上。其目的是要让送至特定的IP地址的流量被错误送到攻击者所取代的地方。因此攻击者可将这些流量另行转送到真正的网关(被动式数据包嗅探,passive sniffing)或是篡改后再转送(中间人攻击,man-in-the-middle attack)。攻击者亦可将ARP数据包导到不存在的MAC地址以达到阻断服务攻击的效果...

2019-09-21 10:18:00 26

转载 python dijkstra 最短路算法示意代码

def dijkstra(graph, from_node, to_node): q, seen = [(0, from_node, [])], set() while q: cost, node, path = heappop(q) seen.add(node) path = path+[node]...

2019-09-20 14:42:00 103

转载 heapq 对有序的数组列表进行整体排序

"""功能:实现对有序的多个数组整体排序,获取top k个最小元素"""from heapq import *def heap_sort(arr, top_k): q = [] for i in range(len(arr)): heappush(q, (arr[i][0], i, 0)) result =...

2019-09-20 12:08:00 20

转载 IPS检测

华为IPS语法:https://isecurity.huawei.com/sec/web/ipsmanual.doIPS漏洞查询(例如搜索反弹shell):https://isecurity.huawei.com/sec/web/ipsVulnerability.do转载于:https://www.cnblogs.com/bonelee/p/11549524.html...

2019-09-19 14:41:00 68

转载 面向切面编程AOP——加锁、cache、logging、trace、同步等这些较通用的操作,如果都写一个类,则每个用到这些功能的类使用多继承非常难看,AOP就是解决这个问题的,python AOP就是...

面向切面编程(AOP)是一种编程思想,与OOP并不矛盾,只是它们的关注点相同。面向对象的目的在于抽象和管理,而面向切面的目的在于解耦和复用。举两个大家都接触过的AOP的例子:1)java中mybatis的@Transactional注解,大家知道被这个注解注释的函数立即就能获得DB的事务能力。2)python中的with threading.Lock(),大家知道,被这个...

2019-09-18 10:07:00 51

转载 主机异常流量示例

ü Syn报文在所有tcp报文中通常不应该超过1/7 --- 否则进行Syn Flood攻击ü HTTP请求(如128个)中Web Server的响应码200比例不应该太低(60%+)ü 连接数从未突破某个值(如1000)ü 主机收到的ICMP端口/协议不可达数量不会超过2000个ü (横向)使用某些协议是活跃数量, 如SSDP协议转载于:https://w...

2019-09-12 15:49:00 28

转载 python代码安全扫描工具

python代码安全扫描工具:Coverity、 Fortify、SecMissile(漏扫,对源代码提供基于语义的搜索和分析能力,实现已知安全漏洞的快速扫描)转载于:https://www.cnblogs.com/bonelee/p/11504741.html...

2019-09-11 10:21:00 245

转载 联邦学习

联邦学习(Federated Learning)from:https://blog.csdn.net/cao812755156/article/details/89598410联邦学习简介 联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端...

2019-09-10 21:32:00 262

转载 数据库索引数据结构总结——ART树就是前缀树

数据库索引数据结构总结from:https://zhewuzhou.github.io/2018/10/18/Database-Indexes/摘要数据库索引是数据库中最重要的组成部分,而索引的数据结构设计对数据库的性能有重要的影响。本文尝试选取几种典型的索引数据结构,总结分析,以窥数据库索引之全貌。B+TreeB+Tree 是一种树数据结构,是一个n叉排序树,每...

2019-09-10 15:09:00 76

转载 路由器安全——破解wifi密码,同时中间人攻击

聊聊安全那些事儿 篇一:Wi-Fi安全浅析2016-04-25 13:18:16141点赞712收藏63评论前言近期,Wi-Fi相关的安全话题充斥着电视新闻的大屏幕,先是曝出了路由器劫持的消息,而后又有报道提到黑客可以控制在同一个Wi-Fi下的其他电脑,所以公共Wi-Fi并不安全。紧接着是家用监控摄像头被劫持,用户的大量隐私被曝光。这些报道的话题五花八门,而节目中给...

2019-09-05 14:53:00 79

转载 ​Python 3 新特性:类型注解——类似注释吧,反正解释器又不做校验

​Python 3 新特性:类型注解Crossin​上海交通大学 计算机应用技术硕士95 人赞同了该文章前几天有同学问到,这个写法是什么意思:def add(x:int, y:int) -> int: return x + y我们知道 Python 是一种动态语言,变量以及函数...

2019-08-30 11:10:00 32

转载 python deque的内在实现 本质上就是双向链表所以用于stack、队列非常方便

How collections.deque works?Cosven前言:在 Python 生态中,我们经常使用 collections.deque 来实现栈、队列这些只需要进行头尾操作的数据结构,它的 append/pop 操作都是 O(1) 时间复杂度。list 的 pop(0) 的时间复杂度是 O(n), 在这个场景中,它...

2019-08-30 10:51:00 28

转载 联邦学习的一些使用库

https://github.com/WeBankFinTech/FATE支持传统机器学习和深度学习  转载于:https://www.cnblogs.com/bonelee/p/11432241.html

2019-08-29 21:49:00 20

转载 python assert 在正式产品里禁用的手法 直接-O即可

How do I disable assertions in Python?There are multiple approaches that affect a single process, the environment, or a single line of code.I demonstrate each.For the whole processUsi...

2019-08-26 17:40:00 37

转载 Koadic的安装和使用---http c2远控工具

Koadic的安装和使用2017.11.26 11:02字数 690阅读 611评论 0喜欢 2概述Koadic是DEFCON分型出来的一个后渗透工具,主要通过vbscript、jscript进行大部分操作废话不多说开始演示环境准备我准备的是两台虚拟机一台kali就是攻击机器一台windows7 64位就是受害者了...

2019-08-24 11:08:00 50

转载 动态域名作为dga的做法

https://wenku.baidu.com/view/54b1df373968011ca3009183.htmldga算法import timefrom ctypes import c_int, c_uintimport argparsedef rand(r): t = c_int(1103515245 * r + 12435).valu...

2019-08-21 21:26:00 83

转载 如何通过“流量线索”进行恶意程序感染分析

流量安全分析(五):如何通过“流量线索”进行恶意程序感染分析from:https://www.sec-un.org/traffic-safety-analysis-v-how-to-traffic-trail-for-malware-infections/原始PCAP 数...

2019-08-20 11:59:00 38

转载 下载恶意pcap包的网站汇总

说几个我经常用的,免费的:1. Malware Traffic Analysis: http://www.malware-traffic-analysis.net/2018/index.html 这个网站每天更新,主要是欧美地区的新鲜流行木马样本,基本上当天更新的马都很新~2.Virus Bay: https://beta.virusbay.io/ ...

2019-08-20 11:55:00 265

转载 下载恶意pcap包的网站

说几个我经常用的,免费的:1. Malware Traffic Analysis: http://www.malware-traffic-analysis.net/2018/index.html 这个网站每天更新,主要是欧美地区的新鲜流行木马样本,基本上当天更新的马都很新~2.Virus Bay: https://beta.virusbay.io/ 这个算是社区贡...

2019-08-19 20:50:00 142

转载 metasploit 一款开源的渗透测试框架

渗透神器漏洞利用框架metasploitfrom:https://zhuanlan.zhihu.com/p/30743401metasploit是一款开源的渗透测试框架软件也是一个逐步发展与成熟的漏洞研究与渗透代码开发平台metasploit体系如下:基础库文件(Libraris):提供了核心框架和一些基础功能的支持模块(Modules):实现渗透测试功...

2019-08-19 19:22:00 223

转载 TCN时间卷积网络——解决LSTM的并发问题

TCN是指时间卷积网络,一种新型的可以用来解决时间序列预测的算法。在这一两年中已有多篇论文提出,但是普遍认为下篇论文是TCN的开端。论文名称:An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling作者:Shaojie Bai 1 J. Z...

2019-08-19 11:56:00 804

转载 一些带dga域名的恶意软件

04/02/2019 06:17下午 6,488,759 f4f242a50ba9efa1593beba6208a2508_PWS.win32.Simda_1250_DGADNS.pcap Simda僵尸网络恶意软件 Simda是一种“安装付费”恶意软件,主要用来传播非法软件和其他类型的恶意软件,包括能够窃取用户金融数据的恶意软件。04/02/2019 06:15下午 1,13...

2019-08-16 20:15:00 96

转载 python使用 pdb 进行调试--- python -m pdb xxx.py 即可 和gdb使用一样

使用 pdb 进行调试pdb 是 python 自带的一个包,为 python 程序提供了一种交互的源代码调试功能,主要特性包括设置断点、单步调试、进入函数调试、查看当前代码、查看栈片段、动态改变变量的值等。pdb 提供了一些常用的调试命令,详情见表 1。表 1. pdb 常用命令命令解释break 或 b 设置断点设置断点continue...

2019-08-13 09:51:00 29

转载 安恒识别门罗币挖矿攻击链

黑客团伙入侵关键基础设施,态势感知还原攻击链安恒信息网络安全前沿资讯、 应急响应解决方案、技术热点深度解读关注区块链和虚拟加密币的疯狂炒作,催生以挖矿为核心的病毒木马黑色产业快速增长。而挖矿木马的攻击并没有因为熊市而减少,反而不断有新的挖矿木马、新的漏洞利用方式、新的攻击手段出现。近期,天鉴态势感知通过部署在全球各地的节点,捕获了利用多个漏洞、通过多种...

2019-08-07 19:48:00 57

转载 亚洲唯一:瀚思科技入选2019 Gartner SIEM 领域 Peer Insights,其他第一象限的有splunk和logrithym,elastic==,RSA、fortinet、rapid7...

亚洲唯一:瀚思科技入选 Gartner SIEM 领域 Peer Insights网络安全技术与产业,正在由传统的合规驱动,走向合规与需求双轮驱动。关注用户需求、倾听用户声音,根据实际情况打造优质的安全产品和服务,是任何一家优秀网络安全提供商的立命之本。——安全牛主编李少鹏近日,瀚思科技(HanSight)以客户综合...

2019-08-07 16:48:00 147

转载 攻击链路识别——CAPEC(共享攻击模式的公共标准)、MAEC(恶意软件行为特征)和ATT&CK(APT攻击链路上的子场景非常细)...

结合知识图谱对网络威胁建模分析,并兼容MITRE组织的CAPEC(共享攻击模式的公共标准)、MAEC和ATT&CK(APT攻击链路上的子场景非常细)等模型的接入,并从情报中提取关键信息对知识图谱进行扩展。转载于:https://www.cnblogs.com/bonelee/p/11314521.html...

2019-08-07 12:04:00 1138

转载 APT 信息收集——shodan.io ,fofa.so、 MX 及 邮件。mx记录查询。censys.io查询子域名。...

信息收集目标是某特殊机构,外网结构简单,防护严密。经探测发现其多个子机构由一家网站建设公司建设。 对子域名进行挖掘,确定目标ip分布范围及主要出口ip。 很多网站主站的访问量会比较大。往往主站都是挂了CDN的,但是分站就不一定了,所以可能一些分站就没有挂CDN,所以有时候可以尝试通过查看分站IP,可能是同个IP或者同个站。shodan.io ,fofa.so、 MX 及 邮件。mx记...

2019-08-03 11:10:00 151

转载 Python中str()与repr()函数的区别——repr() 的输出追求明确性,除了对象内容,还需要展示出对象的数据类型信息,适合开发和调试阶段使用...

Python中str()与repr()函数的区别from:https://www.jianshu.com/p/2a41315ca47e在 Python 中要将某一类型的变量或者常量转换为字符串对象通常有两种方法,即str()或者repr()。>>> a = 10>>> type(str(a))<class 'st...

2019-07-26 17:51:00 16

转载 python coding style guide 的快速落地实践——业内python 编码风格就pep8和谷歌可以认作标准...

python coding style guide 的快速落地实践机器和人各有所长,如coding style检查这种可自动化的工作理应交给机器去完成,故发此文帮助你在几分钟内实现coding style的自动检查。1.有哪些著名的Python Coding Style GuidePEP8https://www.python.org/dev/pep...

2019-07-25 12:00:00 42

转载 python代码规范 自动优化工具Black

自动优化工具Black在众多代码格式化工具中,Black算是比较新的一个,它***的特点是可配置项比较少,个人认为这对于新手来说是件好事,因为我们不必过多考虑如何设置Black,让 Black 自己做决定就好。1).安装与使用与pylint类似,直接pip install black即可完成该模块的安装,不过black依赖于Python 3.6+,但它仍然可以格式化Pytho...

2019-07-25 11:57:00 29

转载 函数式编程之pipeline——很酷有没有

Pipelinepipeline 管道借鉴于Unix Shell的管道操作——把若干个命令串起来,前面命令的输出成为后面命令的输入,如此完成一个流式计算。(注:管道绝对是一个伟大的发明,他的设哲学就是KISS – 让每个功能就做一件事,并把这件事做到极致,软件或程序的拼装会变得更为简单和直观。这个设计理念影响非常深远,包括今天的Web Service,云计算,以及大数据的流式计算等等...

2019-07-24 09:41:00 119

转载 函数式编程——做到并发,不可变数据修改就只能复制后修改返回

函数式编程from:https://coolshell.cn/articles/10822.html当我们说起函数式编程来说,我们会看到如下函数式编程的长相:函数式编程的三大特性:immutable data 不可变数据:像Clojure一样,默认上变量是不可变的,如果你要改变变量,你需要把变量copy出去修改。这样一来,可以让你的程序少很多Bug。因...

2019-07-24 09:40:00 74

转载 圈复杂度本质上就是——分支覆盖率达到100%需要的测试用例数

圈复杂度主要与分支语句(if、else、,switch 等)的个数成正相关。如下代码:publicStringcase2(intindex,Stringstring){StringreturnString=null;if(index<0){...

2019-07-22 16:44:00 58

转载 Struts2漏洞导致的反弹shell——青藤云安全使用的是agent进程采集器进行检测

安全老司机 | Struts2漏洞爆发后,与黑客的一次正面交锋from:https://zhuanlan.zhihu.com/p/66122521备注:青藤云安全:——用的是进程信息采集器通过对用户进程行为的实时监控,结合行为分析,及时发现非法shell连接引起的反弹shell行为,可以有效地感知0Day漏洞利用的行为痕迹,可以提供反向shell...

2019-07-22 14:18:00 61

转载 RBF神经网络——直接看公式,本质上就是非线性变换后的线性变化(RBF神经网络的思想是将低维空间非线性不可分问题转换成高维空间线性可分问题)...

Deeplearning Algorithms tutorial谷歌的人工智能位于全球前列,在图像识别、语音识别、无人驾驶等技术上都已经落地。而百度实质意义上扛起了国内的人工智能的大旗,覆盖无人驾驶、智能助手、图像识别等许多层面。苹果业已开始全面拥抱机器学习,新产品进军家庭智能音箱并打造工作站级别Mac。另外,腾讯的深度学习平台Mariana已支持了微信语音识别的语音输入法、语音开放...

2019-07-17 17:56:00 178

提示
确定要删除当前文章?
取消 删除