- 博客(14)
- 收藏
- 关注
RSS订阅
原创 Python程序运行时间和进程池的详解
python==2.7elasticsearch==6.2.01：背景介绍，最近有一个需求，从ELK日志系统前一天的日志中提取url，url要求去重，然后呢，我用了cosine相似度和字典树匹配两种方案来去重，比较之下，字典树的效果还是要好很多的。现在遇到的瓶颈是有点慢，慢了当然就是想多多线程多进程咯，不过好像python的多线程不怎么能提高效率，于是考虑多进程。 2：运行时间...
2018-04-27 20:26:31
1836
原创 docker较为完整的入门手册
1：Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。2：沙箱Sandboxie(又叫沙箱、沙盘)即是一个虚拟系统程序，允许你在沙盘环境中运行浏览器或其他程序，因此运行所产生的变化可以随后删除。它创造了一个类似沙盒的独立作业环境，在其内...
2018-04-19 15:41:52
4542
原创 Python基础
python的优势不在于运行效率，而在于开发效率和高可维护性。针对特定的问题挑选合适的工具，本身也是一项技术能力。Python2.71:Tornado Tornado是一种Web服务器软件的开源版本。Tornado和现在的主流 Web服务器框架（包括大多数Python的框架：它是非阻塞式服务器，而且速度相当快。得利于其非阻塞的方式和对epoll的运用，Tornado每秒可以处理数以千计的连接，因此...
2018-04-17 19:36:46
247
原创 web安全初探
1：拖库（拼音：tuōkù；英文：Drag)；拖库一词多用于数据库程序员专业人士使用，语意：从数据库导出数据。很多时候数据库的资料需要导出来在别的地方使用，并且数据库资料可以导出好几种格式，例如：TXT，XLS等格式。“拖库”的通常步骤为：第一，黑客对目标网站进行扫描，查找其存在的漏洞，常见漏洞包括SQL注入、文件上传漏洞等。第二，通过该漏洞在网站服务器上建立“后门(webshell)”，通过该后...
2018-04-13 20:23:39
223
原创 对称加密和非对称加密（to be continued）
1：对称加密对称加密的加密方和解密方需要约定一个相同的秘钥（加密秘钥和解密秘钥相同），数据发信方将原始数据和加密秘钥一起经过加密算法处理后，将复杂的加密结果发送给接收方。收信方使用同一份秘钥，相同的算法的逆算法来对密文进行解密特点：算法公开，计算量小，加密速度快，加密效率高缺点：双方使用同一份秘钥，安全性得不到保证，每对用户每次使用对称加密算法时，都需要使用其他人不知道的惟一钥匙，这会...
2018-04-13 13:25:36
233
1
原创 Python-Flask微框架入门
1：Flask是一个Python编写的Web微框架，让我们可以使用Python语言快速实现一个网站或Web服务2：0.0.0.0的意思是任意地址。表示本机的时候，0.0.0.0代表本机所有可用地址；当外部地址用的时候，表示所有网络地址。0.0.0.0:3389表示本机的3389端口(可以通过本机的任何IP访问)。一般来说是为了将服务映射到外部（外部可通过服务主机的ip访问服务）3：SQLAlche...
2018-04-23 19:32:35
382
原创 日志收集过滤检索框架 ELK 入门
1：为什么用到ELK：一般我们需要进行日志分析场景：直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的...
2018-04-23 19:31:20
1573
转载 Linux-IO的理解及epoll
本文参考如下，可直接看原文，这里只做了一些摘要http://blog.chinaunix.net/uid-28458801-id-4464639.html 同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO分别是什么，到底有什么区别？这个问题其实不同的人给出的答案都可能不同，比如wiki，...
2018-04-19 09:40:14
323
原创 一次完整请求的过程
一次较为完整的请求过程：输入url，回车，到可以看到页面，这期间发生了什么。1：域名解析：dns服务，将输入的域名和主机ip进行对应2：浏览器请求基于http请求或者https请求（https就是在http的基础上在会话层加了TSL,SSL等协议），http是应用层协议，它基于传输层的tcp协议。这里就要说到通信系统的互联模型，如tcp/ip五层模型3：tcp/ip五层模型的协议：应用层（这里是h...
2018-04-17 20:57:13
407
转载 Python中list的常用方法
一，创建列表 只要把逗号分隔的不同的数据项使用方括号（[]）括起来即可下标（角标，索引）从0开始，最后一个元素的下标可以写-1list = ['1'，‘2，‘3’]list= [] 空列表二，添加新的元素list.append()在list末尾增加一个元素list.insert（n,'4'）在指定位置添加元素，如果指定的下标不存在，那么就是在末尾添加list1.extend(list2)合并两个...
2018-04-17 19:22:06
7129
原创 Shell的基础
Shell1：shell(计算机的壳层)在计算机科学中，Shell俗称壳（用来区别于核），是指“提供使用者使用界面”的软件（命令解析器）。它类似于DOS下的command.com和后来的cmd.exe。它接收用户命令，然后调用相应的应用程序。如linuxshell。2：同时它又是一种程序设计语言。作为命令语言，它交互式解释和执行用户输入的命令或者自动地解释和执行预先设定好的一连串的命令；作为程序设...
2018-04-16 11:30:50
147
转载 DFS算法
本文转载自：https://www.jianshu.com/p/70952b51f0c8 深度优先搜索属于图算法的一种，英文缩写为DFS即DepthFirst Search.其过程简要来说是对每一个可能的分支路径深入到不能再深入为止，而且每个节点只能访问一次。 结合有向图深度优先搜索在搜索过程中访问某个顶点后，需要递归地访问此顶点的所有未访问过的相邻顶点。初始条件下所有节点为白色，选择一个作为起始...
2018-04-04 18:45:34
240
转载 Intellij IDEA 快捷键大全
本文转载自：http://www.open-open.com/lib/view/open1396578860887.htmlCtrl+Shift + Enter，语句完成“！”，否定完成，输入表达式时按 “！”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结...
2018-04-04 10:53:47
402
转载 python的sys.stdout重定向
转载自：https://blog.csdn.net/MTbaby/article/details/53159053没有找到原文地址，若有人知道原文地址，请告知我，我会修改上面的地址，侵删本文环境：Python2.7 使用 printobj 而非 print(obj)（1）sys.stdout与 print当我们在 Python中打印对象调用 printobj 时候，事实上是调用了 sys.stdo...
2018-04-03 20:18:55
239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人