2019年09月_djph26741

转载 PySpark 的背后原理--在Driver端，通过Py4j实现在Python中调用Java的方法.pyspark.executor 端一个Executor上同时运行多少个Task，就会有多少个对应的...

PySpark 的背后原理Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shuffle Service等。总体来说，Spark是由JVM语言实现，会运行在JVM中。然而，Spark除了提供Scala/Java开发接口外，还提供了Python、R等语言的开发接口，为了保证Spark核心实现...

2019-09-25 16:22:00 1003

转载 python为什么要使用闭包

为什么要使用闭包闭包避免了使用全局变量，此外，闭包允许将函数与其所操作的某些数据（环境）关连起来。这一点与面向对象编程是非常类似的，在面对象编程中，对象允许我们将某些数据（对象的属性）与一个或者多个方法相关联。一般来说，当对象中只有一个方法时，这时使用闭包是更好的选择。来看一个例子：def adder(x): def wrapper(y): r...

2019-09-24 21:39:00 1017

转载字符串解压缩问题——贪心算法

import sysdef load_data(): return sys.stdin.read()def get_position_map(s): result = {} stack = [] for i,c in enumerate(s): if c == "[": ...

2019-09-24 19:56:00 876

转载有意义的单词分割——经典dfs题目

import sysimport jsondef load_data(): data = json.loads(sys.stdin.read()) return data["string"], set(data["word_list"])def dfs(s, start, words, arr, results): if...

2019-09-24 19:55:00 252

转载 Charles 4.2.1 HTTPS抓包

Charles 4.2.1 HTTPS抓包CharlesiPhone抓包Mac必须与iPhone连接同一WiFiProxy->SSL Proxying Settings->SSL Proxying->AddHost:为需要过滤的域名地址,*表示不过滤Port:固定为443,*...

2019-09-21 10:51:00 154

转载 ARP欺骗

ARP欺骗的运作原理是由攻击者发送假的ARP数据包到网上，尤其是送到网关上。其目的是要让送至特定的IP地址的流量被错误送到攻击者所取代的地方。因此攻击者可将这些流量另行转送到真正的网关（被动式数据包嗅探，passive sniffing）或是篡改后再转送（中间人攻击，man-in-the-middle attack）。攻击者亦可将ARP数据包导到不存在的MAC地址以达到阻断服务攻击的效果...

2019-09-21 10:18:00 166

转载 python dijkstra 最短路算法示意代码

def dijkstra(graph, from_node, to_node): q, seen = [(0, from_node, [])], set() while q: cost, node, path = heappop(q) seen.add(node) path = path+[node]...

2019-09-20 14:42:00 331

转载 heapq 对有序的数组列表进行整体排序

"""功能：实现对有序的多个数组整体排序，获取top k个最小元素"""from heapq import *def heap_sort(arr, top_k): q = [] for i in range(len(arr)): heappush(q, (arr[i][0], i, 0)) result =...

2019-09-20 12:08:00 169

转载 IPS检测

华为IPS语法：https://isecurity.huawei.com/sec/web/ipsmanual.doIPS漏洞查询（例如搜索反弹shell）：https://isecurity.huawei.com/sec/web/ipsVulnerability.do转载于:https://www.cnblogs.com/bonelee/p/11549524.html...

2019-09-19 14:41:00 263

转载面向切面编程AOP——加锁、cache、logging、trace、同步等这些较通用的操作，如果都写一个类，则每个用到这些功能的类使用多继承非常难看，AOP就是解决这个问题的，python AOP就是...

面向切面编程（AOP）是一种编程思想，与OOP并不矛盾，只是它们的关注点相同。面向对象的目的在于抽象和管理，而面向切面的目的在于解耦和复用。举两个大家都接触过的AOP的例子：1）java中mybatis的@Transactional注解，大家知道被这个注解注释的函数立即就能获得DB的事务能力。2）python中的with threading.Lock()，大家知道，被这个...

2019-09-18 10:07:00 341

转载主机异常流量示例

ü Syn报文在所有tcp报文中通常不应该超过1/7 --- 否则进行Syn Flood攻击ü HTTP请求(如128个)中Web Server的响应码200比例不应该太低(60%+)ü 连接数从未突破某个值(如1000)ü 主机收到的ICMP端口/协议不可达数量不会超过2000个ü (横向)使用某些协议是活跃数量, 如SSDP协议转载于:https://w...

2019-09-12 15:49:00 140

转载 python代码安全扫描工具

python代码安全扫描工具：Coverity、 Fortify、SecMissile（漏扫，对源代码提供基于语义的搜索和分析能力，实现已知安全漏洞的快速扫描）转载于:https://www.cnblogs.com/bonelee/p/11504741.html...

2019-09-11 10:21:00 897

转载联邦学习

联邦学习（Federated Learning）from：https://blog.csdn.net/cao812755156/article/details/89598410联邦学习简介联邦学习（Federated Learning）是一种新兴的人工智能基础技术，在 2016 年由谷歌最先提出，原本用于解决安卓手机终端...

2019-09-10 21:32:00 789

转载数据库索引数据结构总结——ART树就是前缀树

数据库索引数据结构总结from:https://zhewuzhou.github.io/2018/10/18/Database-Indexes/摘要数据库索引是数据库中最重要的组成部分，而索引的数据结构设计对数据库的性能有重要的影响。本文尝试选取几种典型的索引数据结构，总结分析，以窥数据库索引之全貌。B+TreeB+Tree 是一种树数据结构，是一个n叉排序树，每...

2019-09-10 15:09:00 1466

djph26741的博客