2017年12月_Mi1k7ea

原创 Python爬虫之分布式爬虫

本篇文章主要讲讲分布式爬虫的实现，一个是基于主从模式的方法，另一个则是基于Scrapy_redis分布式实现的方法。分布式进程：分布式进程是指将Process进程分布到多台机器上，充分利用多台机器的性能完成复杂的任务。在Python的通过multiprocessing库来完成，该模块不仅支持多进程且还支持将多进程分布到多台机器上。分布式进程就是将把Queue暴露到网络中让其他机器进程可以访

2017-12-20 10:43:46 3123 6

原创 Python爬虫之Scrapy爬虫框架

Scrapy是一个用Python写的爬虫框架，使用Twisted这个异步网络库来处理网络通信。这里通过创建CSDN博客爬虫来学习Scrapy爬虫框架。安装Scrapy：在Linux上，直接pip install scrapy即可；在Windows上，需要依次安装pywin32、pyOpenSSL、lxml和scrapy。本次在Kali上安装，安装成功后能成功看到版本信息：

2017-12-19 12:41:32 3289

原创 Ubuntu搭建MongoDB集群

MongoDB集群旨在提高系统的稳定性，使用多个MongoDB存储节点，当主节点挂掉之后从节点可以立即补充进来保证系统可以正常稳定地运行。在Kali Linux中是默认安装了MongoDB的，位于/etc/init.d/目录。这里只在Ubuntu上进行操作。Ubuntu安装MongoDB：导入软件源的公钥：sudo apt-key adv --keyserver hkp://key

2017-12-18 22:26:51 2925

原创机器学习应用之WebShell检测

本文主要参考自兜哥的《Web安全之机器学习入门》前段时间在研究WebShell的检测查杀，然后看到兜哥的著作中提到的几个机器学习算法中也有实现WebShell检测的，主要有朴素贝叶斯分类、K邻近算法、图算法、循环神经网络算法等等，就一一试试看效果吧。Python中的几个机器学习的库1、numpy：安装：pip install --user numpy2、SciPy：

2017-12-09 11:51:22 6491 1

原创 Web安全加固小结

1、IIS加固：以IIS上搭建的dvbbs站点为了，在管理工具>IIS管理器>网站>dvbbs>右键属性：（1）修改默认日志路径c:\windows\system32\logfilesd:\dvbbslog:system读写，Administrator读（2）网站>属性>高级：协议版本、cookie（3）删除所有不必要的映射：扩展名asp、html右键属性>主目录>配置

2017-12-06 09:32:51 5914

原创 Windows系统安全小结

本文不定期更新，将阶段性的总结记录到博客中，方便以后查看~Windows用户相关命令及隐藏用户：查看所有用户：net users查看指定用户user1：net user user1添加指定用户user1：net user user1 password1 /add删除指定用户user1：net user user1 /del简单地隐藏用户：添加隐藏用户test（在账户名后

2017-12-05 10:59:54 3123

原创 Python安全小工具之日志分析识别AWVS扫描

本篇文章主要先从客户端和服务端分析AWVS扫描的特征，然后再稍微修改一下Apache的access.log的日志格式、使之可以显示POST请求行内容，最后编写分析识别AWVS扫描的脚本。AWVS工具的扫描分析：Acunetix Web Vulnerability Scanner（简称AWVS）是一款知名的Web网络漏洞扫描工具，它通过网络爬虫测试你的网站安全，检测流行安全漏洞。

2017-12-04 09:30:02 4488

原创 DoS与DDoS小结

DoS即Denial of Service拒绝服务攻击，DDoS即Distributed Denial of Service分布式拒绝服务攻击。介绍就不多说了，直接上笔记。DoS种类：1、Smurf攻击：结合了IP欺骗和ICMP回复方法，攻击者冒充受害主机IP向受害者主机所在的网络广播ICMP应答请求（ping）数据包，导致该网络所有主机都应答从而拒绝服务攻击了受害主机。2

2017-12-01 15:22:36 5108

Mi1k7ea