总有你值得一试的python开源项目

原文转载于:https://blog.csdn.net/wytdahu/article/details/47130405

Python：渗透测试开源项目【源码值得精读】

sql注入工具：sqlmap
DNS安全监测：DNSRecon
暴力破解测试工具：patator
XSS漏洞利用工具：XSSer

Web服务器压力测试工具：HULK

SSL安全扫描器：SSLyze

网络

Scapy: send, sniff and dissect and forge network packets. Usable interactively or as a library

pypcap, Pcapy and pylibpcap: several different Python bindings for libpcap

libdnet: low-level networking routines, including interface lookup and Ethernet frame transmission

dpkt: fast, simple packet creation/parsing, with definitions for the basic TCP/IP protocols

Impacket: craft and decode network packets. Includes support for higher-level protocols such as NMB and SMB

pynids: libnids wrapper offering sniffing, IP defragmentation, TCP stream reassembly and port scan detection

Dirtbags py-pcap: read pcap files without libpcap

flowgrep: grep through packet payloads using regular expressions

Knock Subdomain Scan, enumerate subdomains on a target domain through a wordlist

Mallory, extensible TCP/UDP man-in-the-middle proxy, supports modifying non-standard protocols on the fly

Pytbull: flexible IDS/IPS testing framework (shipped with more than 300 tests)

调试和逆向工程

Paimei: reverse engineering framework, includes PyDBG, PIDA, pGRAPH

Immunity Debugger: scriptable GUI and command line debugger

mona.py: PyCommand for Immunity Debugger that replaces and improves on pvefindaddr

IDAPython: IDA Pro plugin that integrates the Python programming language, allowing scripts to run in IDA Pro

PyEMU: fully scriptable IA-32 emulator, useful for malware analysis

pefile: read and work with Portable Executable (aka PE) files

pydasm: Python interface to the libdasm x86 disassembling library

PyDbgEng: Python wrapper for the Microsoft Windows Debugging Engine

uhooker: intercept calls to API calls inside DLLs, and also arbitrary addresses within the executable file in memory

diStorm: disassembler library for AMD64, licensed under the BSD license

python-ptrace: debugger using ptrace (Linux, BSD and Darwin system call to trace processes) written in Python

vdb / vtrace: vtrace is a cross-platform process debugging API implemented in python, and vdb is a debugger which uses it

Androguard: reverse engineering and analysis of Android applications

Fuzzing

Sulley: fuzzer development and fuzz testing framework consisting of multiple extensible components

Peach Fuzzing Platform: extensible fuzzing framework for generation and mutation based fuzzing (v2 was written in Python)

antiparser: fuzz testing and fault injection API

TAOF, (The Art of Fuzzing) including ProxyFuzz, a man-in-the-middle non-deterministic network fuzzer

untidy: general purpose XML fuzzer

Powerfuzzer: highly automated and fully customizable web fuzzer (HTTP protocol based application fuzzer)

SMUDGE

Mistress: probe file formats on the fly and protocols with malformed data, based on pre-defined patterns

Fuzzbox: multi-codec media fuzzer

Forensic Fuzzing Tools: generate fuzzed files, fuzzed file systems, and file systems containing fuzzed files in order to test the robustness of forensics tools and examination systems

Windows IPC Fuzzing Tools: tools used to fuzz applications that use Windows Interprocess Communication mechanisms

WSBang: perform automated security testing of SOAP based web services

Construct: library for parsing and building of data structures (binary or textual). Define your data structures in a declarative manner

fuzzer.py (feliam): simple fuzzer by Felipe Andres Manzano

Fusil: Python library used to write fuzzing programs

Web

Requests: elegant and simple HTTP library, built for human beings

HTTPie: human-friendly cURL-like command line HTTP client

ProxMon: processes proxy logs and reports discovered issues

WSMap: find web service endpoints and discovery files

Twill: browse the Web from a command-line interface. Supports automated Web testing

Ghost.py: webkit web client written in Python

Windmill: web testing tool designed to let you painlessly automate and debug your web application

FunkLoad: functional and load web tester

spynner: Programmatic web browsing module for Python with Javascript/AJAX support

python-spidermonkey: bridge to the Mozilla SpiderMonkey JavaScript engine; allows for the evaluation and calling of Javascript scripts and functions

mitmproxy: SSL-capable, intercepting HTTP proxy. Console interface allows traffic flows to be inspected and edited on the fly

pathod / pathoc: pathological daemon/client for tormenting HTTP clients and servers

取证

Volatility: extract digital artifacts from volatile memory (RAM) samples

LibForensics: library for developing digital forensics applications

TrIDLib, identify file types from their binary signatures. Now includes Python binding

aft: Android forensic toolkit

恶意程序分析

pyew: command line hexadecimal editor and disassembler, mainly to analyze malware

Exefilter: filter file formats in e-mails, web pages or files. Detects many common file formats and can remove active content

pyClamAV: add virus detection capabilities to your Python software

jsunpack-n, generic JavaScript unpacker: emulates browser functionality to detect exploits that target browser and browser plug-in vulnerabilities

yara-python: identify and classify malware samples

phoneyc: pure Python honeyclient implementation

PDF

Didier Stevens' PDF tools: analyse, identify and create PDF files (includes PDFiD, pdf-parserand make-pdf and mPDF)

Opaf: Open PDF Analysis Framework. Converts PDF to an XML tree that can be analyzed and modified.

Origapy: Python wrapper for the Origami Ruby module which sanitizes PDF files

pyPDF: pure Python PDF toolkit: extract info, spilt, merge, crop, encrypt, decrypt…

PDFMiner: extract text from PDF files

python-poppler-qt4: Python binding for the Poppler PDF library, including Qt4 support

Misc

InlineEgg: toolbox of classes for writing small assembly programs in Python

Exomind: framework for building decorated graphs and developing open-source intelligence modules and ideas, centered on social network services, search engines and instant messaging

RevHosts: enumerate virtual hosts for a given IP address

simplejson: JSON encoder/decoder, e.g. to use Google's AJAX API

PyMangle: command line tool and a python library used to create word lists for use with other penetration testing tools

Hachoir: view and edit a binary stream field by field

py-mangle: command line tool and a python library used to create word lists for use with other penetration testing tools

其他有用的Py库和工具

IPython: enhanced interactive Python shell with many features for object introspection, system shell access, and its own special command system

Beautiful Soup: HTML parser optimized for screen-scraping

matplotlib: make 2D plots of arrays

Mayavi: 3D scientific data visualization and plotting

RTGraph3D: create dynamic graphs in 3D

Twisted: event-driven networking engine

Suds: lightweight SOAP client for consuming Web Services

M2Crypto: most complete OpenSSL wrapper

NetworkX: graph library (edges, nodes)

Pandas: library providing high-performance, easy-to-use data structures and data analysis tools

pyparsing: general parsing module

lxml: most feature-rich and easy-to-use library for working with XML and HTML in the Python language

Whoosh: fast, featureful full-text indexing and searching library implemented in pure Python

Pexpect: control and automate other programs, similar to Don Libes `Expect` system

Sikuli, visual technology to search and automate GUIs using screenshots. Scriptable inJython

PyQt and PySide: Python bindings for the Qt application framework and GUI library

其他

Python 作为程序员的宠儿，越来越得到人们的关注，使用 Python 进行应用程序开发的越来也多。那么，在 2013 年有哪些流行的 Python 项目呢？下面，我们一起来看下。

　　一、测试和调试

• python_koans：Python Koans 算 “Ruby Koans” 的一部分，作为交互式教程，可以学习 TDD 技巧。
• sure：Sure 是最适合自动化测试的 Python 工具，包含流利的断言、深度选择器等等特性。
• responses：用 responses 能令测试更加轻松，这是一个可以伪装各种请求的库。
• boom：Boom! Apache Bench 的替代品。作为一个命令行工具，Boom 能对你的应用进行快捷的 smoke test。
• cricket：BeeWare 套件的一部分，cricket 是种图形化工具，协助你进行案例测试。
• bugjar：BeeWare 套件的一部分，bugjar 是针对 Python 的图形化交互式调试器。
• pudb：pudn 是针对 Python 的全屏命令行调试器。
• voltron：更好的 gdb 界面。

　　二、Web 框架

• django-stronghold：试过将 login_required 装饰器四处乱放? 在你的堡垒中令所有 Django 视图有默认 login_required 呗。
• Falcon Framework：Falcon 自称为髙性能云接口框架，号称能在相同硬件条件下提高服务端性能 30 倍! 听起来有点儿意思?
• django-xadmin：用 bootstrap 对 django-admin 进行了深度升级，提供了可插件安装的仪表盘。
• clay：基于 Flask 的封装，能令我们轻松的创建 RESTful 后端服务，完整文档可查看 clay。
• flask-restful：基于 Flask 的简单框架，用以创建 REST 接口。
• sandman：Sandman 希望通过 REST 接口暴露你现有的 app，相关 博客也值得一读。
• Django Unchained：名字很髙大上，也的确是 Python Django 初学者的靠谱指南。

　　三、并发

• pulsar：部署新 web 服务器走起! 有趣的事件驱动的并发框架 ! 兼容从 2.6+ 到 pypy 的所有 python 版本!
• toro：同步化的 Tornado 协程支持。
• offset：Offset Go 的并发模式在 Python 中的实现，请参考相关演讲 幻灯来理解!

　　四、任务调度

• pyres：从 resque 获得灵感的纯 Python 任务调度模块，是 celery 的替代。
• dagobah：Dagobah 是 Python 完成的简单关系依赖为基础的任务调度模块，还包含很 COOL 的关联任务工作流图形工具。
• schedule：使用生成器模式来为定期任务生成配置的进程调度模块。

　　五、实用工具

• howdoi：发觉你总在 Google 一些简单的最简单的编程任务? howdoi 能让你远离浏览器，就解决这类事儿!
• delorean：时间旅行?简单! Delorean 的目标就是令你的 Python 项目在处理时间/日期时轻而易举!查阅完备的 文档。
• powerline-shell：对于那些想让常用工具漂亮起来人，一定要用 powerline-bash，能打造漂亮的 shell 提示符，增加力线(powerline)，兼容 Bash/Zsh。
• fn.py：在 Python 中谈及函数编程时失落的那节"电池"终于出现了! 如果对 Python 函数式编程有兴趣的立即下手安装体验吧！
• lice：为你的开源工程方便的追加许可证，而不用自个儿去 Google，支持 BSD、MIT 和 GPL 以及变种协议。
• usblock：基于 USB 来锁定或是解锁你的笔记本!
• Matchbox：MatchBox 能在你自个儿的服务器上提供类似 Dropbox 风格的备份服务! 基于 Flask 并通过 http 协议进行文件传输。
• cleanify：用 cleanify 能异步美化你项目的所有 html/css/js 文件。
• locksmith：Locksmith 是 AES 加密的口令管理器，看起来不错，完全开源，源代码、截屏都有。
• storm：在 Storm 的命令行界面，管理你所有的 SSH 连接。
• sqlparse：：这个很给力! sqlparse 是个 SQL 有效性分析器，支持解析/分裂/格式化 SQL 语句。
• autopep8：能自动化以 pep8来格式化你的代码。
• colout：colout 用以在命令行中色彩化输出，这就从其 github page 查看范例来体验吧。
• bumpversion：版本号冲撞总是恼人的，而每个人总是忘记给发行版本打 tag，bumpversion 用一条简单的命令简化了这方面的操作。
• pyenv：需要更好的管理你 Python 的多版本环境 ? pyenv 让你能简洁的作到!(甚至超出你的预期!有插件能将 VirtualEnv 也无缝结合进来!)
• pip-tools：一整套能令你的 Python 项目保持清爽的工具。
• cdiff：Cdiff 是种非常 nice 的工具，可以用彩色输出统一 diff 格式信息，或用双栏形式来展示。

　　六、数据科学及可视化

• data_hacks：由 bitly 发布的一堆数据分析用命令行工具。这些工具接受命令行或是其它工具输入的数据，轻易的生成柱图以及直方图等等。
• 给黒客的概率编程和贝叶斯方法：这书是极好的，介绍如何用贝叶斯方法和概率编程进行数据分析，而且每章都提供了用以 iPython Notebooks 的示例。
• simmetrica：想对自个儿的应用基于时间的数据序列进行展示、汇总、分享嘛? 赶紧上 simmetrica 吧，同时还提供了可定制的仪表盘。
• vincent： Python 构建的专为运用 D3.js 进行可视化的 vega 转换工具。
• bamboo：一种简洁的实时数据分析应用，bamboo 提供了一个进行合并、汇总、数值计算的数据实时接口。
• dataset：难以置信的工具，dataset 让对数据库的读写简单的象对 JSON 文件的操作，没有其它的文件配置，顷刻间就让你在 BOSS 面前高大上起来。
• folium：喜欢地图?也爱 Python? Folium 让你在地图上自在操纵数据。
• prettyplotlib：用 prettyplotlib 来强化你的 matplotlib，让你默认的 matplotlib 输出图片更加漂亮.
• lifelines：有兴趣在 Python 中研究生存分析的话，不用观望了，用 lifelines! 包含对 Kaplan-Meier、Nelson-Aalen 和生存回归分析。

　　七、编辑器及其改善

• sublime-snake：想在无尽的 coding 中喘口气? 当然是这种经典游戏了……
• spyderlib：又一个用 Python 写的开源 IDE。
• vimfox：对于 Vim 党最贴心的 web 专发工具，VimFox 能让 vim 实时的看到 css/js/html 的修改效果，能神奇的让 vim 中的修订，立即在浏览器中看到。
• pcode：基于 Py3 的 IDE，通过简单的 UI 提供了重构、工程管理等。

　　八、持续交付

• metrology：这个库很酷，支持你对应用进行多种测量并轻松输出给类似 graphite 的外部系统。
• python-lust：支持在 Unix 系统中用 Python 实现一个守护进程。
• scales：Scales 对你的 Python 应用进行持续状态和统计，并发送数据到 graphite。
• glances：跨平台，基于 curses 命令行的系统监视工具。
• ramona：企业级的应用监管。 Ramona 保证每个进程在值，一但需要立即重启，并有监控/日志输出，会发送邮件提醒。
• salmon：基于 Salt Stack 的多服务监视系统，即能作报警系统，也能当监控系统。
• graph-explorer：Graph-explorer 是对 Graphite 面板的增强，比原版的好很多，值得体验。
• sovereign：Sovereign 是一系列 ansible 的攻略手册，能为自个儿建造个私人云。
• shipyard：能在指定的机器上弹出你的弹窗实例，也支持你创建/删除等等对弹窗的远程控制。
• docker-py：疯狂的 docker 工程接口的 Python 包装。
• dockerui：基于 docker 接口通过 web 界面进行交互操作的工具。
• django-docker：如果想知道怎么将 Djnago 应用同 Docker 结合? 可以从这里学习。
• diamond：Python 实现的守护进程，自动从你的服务或是其它指定数据源中提取数值，并 graphite、以及其它支持的状态面板/收集系统输出。

　　九、Git

• git-workflow：可视化你的 git 工作流程的工具，示例： Demo。
• gitto：简洁的库，协助你建立自个儿的 git 主机。
• git-imerge：git-imerge 能让 git 进行增量合并。 本质上是允许你在进行 imerge 有冲突时，有机会先合并掉，再继续。

　　十、邮件与聊天

• mailbox：Mailbox 是对 Python 的 IMAP 一个人性化的再造。 基于简单即是美的态度，作者对 IMAP 接口给出了一个简单又好理解的形式。
• deadchat：deadchat 旨在不安全的网络环境中提供安全的单一房间群聊服务以及客户端。
• Mailpile：Mailpile 是针对邮件的索引及搜索引擎 。

　　十一、音频和视频

• pms：穷人的 Spotify，搜索和收集音乐流!
• dejavu：在琢磨 Shazam 的原理? 音频指纹识别算法的 Python 实现在此!（译注:Shazam：是个神奇的音乐识别应用，对她啍个几秒调子，就能精确告诉你是什么歌曲、作者、歌词……）
• HTPC-Manager：为 HTPC 粉丝准备的工具，提供了完备的界面来管理所有家庭媒体服务器上的好物。
• cherrymusic：Python 实现的一个音乐流媒体服务器。 流化输出你的音乐到所有设备上。
• moviepy：脚本化的电影剪辑包，切/串/插入标题等基本操作，几行就搞定!

　　十二、其它

• emit：用 redis 为你的函式追加可订阅能力，很有趣。
• zipline：Zipline 是种很 Pythonic 的交易算法库。
• raspberry.io：Raspberry.io 是树莓派的社区实现。 刚刚发布，汇集了各种创意想法，有兴趣的话立即检出折腾吧。
• NewsBlur：Google Reader 已经关张儿了，Newsblur 已经发布了有段日子了，开源的 RSS 阅读器，这绝对是应该首先体验的。
• macropy：Macropy 是在 Python 中实现 macros 的库。 检出文档，参考所有功能，看怎么用上了。
• mini：对编译器以及语言设计有兴趣的，一定要看看这个仓库，以及配套的录像!
• parsimonious：Parsimonious 的目标是最快的 arbitrary-lookahead 解析器。 用 Python 实现，基本可用。
• isso：Disqus 的开源替代，从 demo 看很不错，而且提供了更好的隐私设置。
• deaddrop：Deaddrop 能为新闻机构或是其它人提供在线投递箱，详细信息参考其 github page。
• nude.py：裸体检测的 Python 实现，是 node.js 的仿制。
• kaptan： Kaptan 是你应用的配置管理器！
• luigi：Luigi 帮你构建复杂的管道来完成批处理。
• gramme：Gramme 以简单而优雅的方式，通过 UDP 接口对易失数据完成消息包装序列化。
• q：为你的 Python 程序提供快速而随性的日志。 有一系列帮手来追踪你的函式参数，并能在控制台快速交互式加载。
• fuqit：来自伟大的 Zed Shaw 最新作品，fuqit 试图令你忘记 MVC 的经验，用全新的方式专注简洁一切。
• simplicity：基于靠谱的 pydanny 将你的新结构化文本转换为 JSON 格式。
• lassie：Lassie 允许你轻松的从网站检索出内容来。
• paperwork：Paperwork 是个 OCR 文档并完成可搜索转化的工具，用 GTK/Glade 实现了友好的界面。
• cheat：cheat 允许你创建并查阅命令行上的交互式备忘。设计目的是帮助 *nix 的系统管理员们在习惯的环境中，快速调阅不易记忆的常用命令。
• cookiecutter：良心模块! 提供一堆有用但是不常写，所以记不下来的代码模板，也支持自制代码模板。
• pydown：支持用 Python 构建亮丽的 HTML5 效果幻灯，Demo。
• Ice：模拟器粉丝们现在能用 Ice 向 Steam 里塞 ROM 来玩了。
• pants：用以编写异步网络应用的轻量级框架。 Pants 是单线程，回调服务，也包含支持 Websockets 的 HTTP 服务、WSGI 支持和一个简单的 web 框架。
• pipeless：Pipeless 是一个构建简单 数据管道的框架。
• marshmallow：marshmallow 是个 ORM 无关的库，能将复杂的数据类型转换为 Python 原生类型对象，以便容易的转换为 JSON 提供接口使用。
• twosheds：Python 实现的库，用来构造命令或是 shell 解释器。Twosheds 让你用 Python 来定制自个儿的 shell 环境。