yueguanghaidao-CSDN博客

原创 [Python网络编程]gevent httpclient以及网页编码

之前看到geventhttpclient这个项目，https://github.com/gwik/geventhttpclient，官方文档说非常快，由于响应使用了C的解析，所以我一直想把这玩意用到项目中，这两天一直在纠结这玩意，说实在一句话，比较难用，封装的不给力，最大缺陷如下：1.不支持重定向，重定向需要自己来写，很费事2.新建的httpclient对象只能发送同域名的请求这相当的蛋疼，我花了

2014-05-30 16:41:47 4891

原创 [Python网络编程] DNS缓存解决方案

记得以前写爬虫的时候为了防止

2014-05-21 11:36:14 6660

原创 Python之美[从菜鸟到高手]--浅拷贝、深拷贝完全解读(copy源码分析)

可悲的我一直以为copy模块是用C写的，有时候需要

2014-05-19 20:43:16 10513 1

原创 Python之美[从菜鸟到高手]--读"一道面试题看 HashMap 的存储方式"的联想

今天在伯乐在线一道面试题看 HashMap 的存储方式，也即使问：在 HashMap 中存放的一系列键值对，其中键为某个我们自定义的类型。放入 HashMap 后，我们在外部把某一个 key 的属性进行更改，然后我们再用这个 key 从 HashMap 里取出元素，这时候 HashMap 会返回什么？如何面试者直接答“这要看自定义类型的hash值了”,我想面试官会非常满意，抓住问题关键很重要。联

2014-05-18 20:47:54 9511 1

原创 [python网络编程]DNS服务器

在上一篇中，使用scrapy修改源IP发送请求的最后我们提到由于hosts文件不支持正则，会导致我们的随机域名DNS查询失败。是用DNS服务器可以解决这个问题，下面是我用gevent写的小工具，很简单。我们只拦截匹配的A记录，然后发送DNS Response，如果不匹配，那么我们服务器就是一个DNS代理，转发请求。# -*- coding=utf-8 -*-import structfrom

2014-05-09 12:30:56 6999

原创 [python网络编程]使用scapy修改源IP发送请求

今天同事想测试WAF的页面统计功能，所以需要模拟多个IP向多个域名发送请求，也就是需要修改源IP地址。这个如果使用socket库就比较麻烦了，需要使用raw socket，相当麻烦。还好咱有scapy，轻松搞定。DOMAIN是我随机构造的域名库，SOURCE也是随机构造的源IP地址。#!/usr/bin/env python#-*-encoding:UTF-8-*-from scapy.al

2014-05-07 23:46:49 23266 3

原创 [gevent源码分析] 深度分析gevent运行流程

一直不太懂gevent运行流程，最近看源码略有所得，不敢独享，分享之。

2014-04-25 00:13:06 109447 7

原创 [Python网络编程]使用select,poll

import socketimport selects=socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.connect(('192.168.9.178',80))#s.settimeout(5)packet = """\GET /cs.php?a=php HTTP/1.0Host: 192.168.9.178"""#asyncdebug=1s.s

2014-04-11 20:19:51 5932 3

原创 [学习Cython编程]C中使用Python标准库(urllib,logging)

Python的库非常丰富，如果能在C中使用Python的一些库，无疑是很让人兴奋的，下面我们就将在C中使用Pyhton的urllib模块和logging模块。在C中调用Python需要包含整个Python的运行时库，链接模型如下：在C/C++中嵌入Python代码是非常简单的，下面是代码模板：#include int main(int argc,char** argv){ Py_Set

2014-04-07 19:23:23 4234

原创 [学习Cython编程]Cython编程入门

本文主要以[Learning Cython Programming]一书中的案列和我们自己编写的简单程序来学习Cython。一：Python调用C函数mycode.c文件#include int myfunc (int x, int y){ printf ("look we are within your c code!!\n"); return x + y;}m

2014-04-02 01:11:08 4178

翻译 [学习cython编程] Cython Won't Bite

我的前言：前些日子在研究gevent的时候，发现它的core模块，即事件驱动是libevent的python扩展(pyevent)，而我发现了.pyx的后缀名，google一番才知道那是cython的语法，基本上是python和c/c++混编，可以很轻松的使用c中已有的库，突然发现世界如此美好，用c写python模块相当的类，还需要注意引用等问题，但用cython这些都不是问题

2014-03-28 03:08:49 3826

原创 [Learning Cython Programming]勘误表

[Learning Cython Programming]勘误表后期增补，发现童鞋可留言1. 第11页 gcc -g -O2 -fpic -c mycodecpy.c -o mycodecpy `python-config --cflags` 应改为：gcc -g -O2 -fpic -c mycodecpy.c -omycodecpy.o `python

2014-03-28 02:05:14 1973

原创 Debian5.0安装新内核

一直都Linux内核很有兴趣，但苦于入门不易，认真看了ldd前5章突然就来感觉了，光看不练不顶用，首先就需要环境搭建。使用的是Debian 5.0,内核2.6.26，欲安装的新内核为2.6.28，这里有一点需要注意，安装的内核版本最好要大于使用编译的版本，不然gcc等有些会报错。下载https://www.kernel.org/pub/linux/kernel/v2.6/linux

2014-03-26 01:30:03 2860

原创 Debian将ISO镜像作为本地源使用

坑爹啊，装了个Debian5.0，发现连gcc套装都没安装，苦的是平时只用无线网，折腾了好一会还是连不上了，绝望，泪奔啊。都怪我昨天把我使用已久的Ubuntu 11.04的python2.7给卸载了，直接导致登陆不上系统了。唉，下次系统原装的还是不要卸载的好。。。没办法，只能找别的办法，将ISO镜像作为本地源使用，好主意，但貌似google的对我都不起作用，最后还是解决了，记录一下。

2014-03-24 22:56:04 20394

原创 PHP结合Python的WEB开发技术 [ppython]

之前一个同事和我讨论如何在PHP代码中执行Python，当时也没想到啥方案，就说通过命令执行。时隔几个月的今天，他说可以通过socket通信，可以参考这里，http://code.google.com/p/ppython/，其实思路是很简单的。当告诉你这个简单的ppython可以让PHP调用Python代码，诱惑力还是相当的大的，用作者的话来说是结合使用PHP和Python两种

2014-03-21 23:26:33 25548 7

原创 Python之美[从菜鸟到高手]--urllib源码分析

urllib提供了较好的封装，可以很方便的读取http，ftp，file等协议数据，本篇只关注http。urllib的底层还是使用httplib模块，相比于httplib，urllib接口更加好用，功能更加强大。支持http代理，可从环境变量中获取代理信息，支持http basic auth，可自动处理302等。但也有不足，如不支持gzip等压缩编码，不支持摘要认证，NTML认证等。

2013-11-23 22:48:45 18481

原创 Python之美[从菜鸟到高手]--urlparse源码分析

urlparse是用来解析url格式的，url格式如下：protocol :// hostname[:port] / path / [;parameters][?query]#fragment，其中;parameters一般用来指定特殊参数，使用的较少，至少我没怎么碰到，举几个链接：http://en.wikipedia.org/wiki/Robotics;Notes，http://en.wiki

2013-11-17 22:41:09 8432 1

原创 Python之美[从菜鸟到高手]--httplib源码分析及IncompleteRead异常解决方案

由于平时主要用Python编写Web漏洞规则脚本，所以网络方面的库使用较多，如urllib，urllib2，httplib2等，我们知道urllib这几个库都是基于httplib库开发的，那么她们有什么区别呢？只能通过源码去分析，想看源码，那么基础库httplib得熟悉。

2013-11-09 06:11:27 19263 1

原创网络安全[脚本小子] -- SSI注入

本系列文章将与大家一起学习探讨网络安全知识，但我们不做脚本小子。在计算机和网络领域里，脚本小子（script kiddie）是一个贬义词用来描述以黑客自居并沾沾自喜的初学者。他们钦慕于黑客的能力与探索精神，但与黑客所不同的是，脚本小子通常只是对计算机系统有基础了解与爱好，但并不注重程序语言、算法、和数据结构的研究，虽然这些对于真正伟大的黑客来说是必须具备的素质。他们常常从某些网站上复制脚本

2013-10-01 05:51:31 7322

原创 Python之美[从菜鸟到高手]--一步一步动手给Python写扩展(异常处理和引用计数)

我们将继续一步一步动手给Python写扩展，通过上一篇我们学习了如何写扩展，本篇将介绍一些高级话题，如异常，引用计数问题等。强烈建议先看上一篇，Python之美[从菜鸟到高手]--一步一步动手给Python写扩展(爱之初体验)的基础知识。一：扩展中的异常处理高级语言如C++,Java等都有完善的异常控制，Python也不例外。但与C++不同的是，写C++你可以完全抛弃异常处

2013-09-15 23:08:33 9871

原创 Python之美[从菜鸟到高手]--一步一步动手给Python写扩展(爱之初体验)

一直对Python扩展很感兴趣，刚好看到了Extending and Embedding the Python Interpreter文档，看的是最低版本(由于工作中用的是2.x，￣□￣)，链接：http://docs.python.org/2.6/extending/index.html 我使用的是Code::Blocks 12.11，首先需要配置一下环境(windows)。

2013-09-12 01:12:08 14971 6

原创 Python之美[从菜鸟到高手]--Python垃圾回收机制及gc模块详解

Python中的垃圾回收是以引用计数为主，标记-清除和分代收集为辅。引用计数最大缺陷就是循环引用的问题，所以Python采用了辅助方法。本篇文章并不详细探讨Python的垃圾回收机制的内部实现，而是以gc模块为切入点学习Python的垃圾回收机制，如果想深入可以读读>。看如下代码：import gcimport sysgc.set_debug(gc.DEBUG_STATS|gc.

2013-09-08 21:14:36 73463 5

原创向Python女神推荐这些年我追过的经典书籍

最近"瑞丽模特学Python"的热点牵动了大江南北程序员的心，有人说这是炒作，也有人说这是推广Python的爆点。。。我嘿嘿一笑，美女就是美女，眼光那是杠杠的，不仅人美，学的语言也美。那咱也不能藏私，必须得把我读过的Python好书向女神推荐一下...... 记得我毕业面试现在这家公司的时候(偶是13年毕业)，当时面试官看到我简历上写熟悉Python时，特地问了我Python的情况，我能

2013-08-27 23:13:41 78397 21

原创 Python之美[从菜鸟到高手]--深刻理解原类(metaclass)

本来想自己写这篇文章的，可当我读了这篇文章http://blog.jobbole.com/21351/，我打消了这个念头，因为肯定写的没有人家的好，说的通俗易懂，面面俱到。就厚着面皮修改下格式，测试下代码，当作原创了，面皮貌似有点厚啊。。。。有点长，需要花点耐心。译注：这是一篇在Stack overflow上很热的帖子。提问者自称已经掌握了有关Python OOP编程中的各种概念，但

2013-08-27 00:21:00 5312 2

原创 Python之美[从菜鸟到高手]--玩转描述符和属性

你知道property的实现原理吗？你知道@classmethod,@staticmethod的原理吗？如果你摇头了，那么这篇文章你肯定不能错过，让我们开始吧？在说property之前，我们需要理解描述符，因为不管property还是classmethod都是构建在描述符的基础上，那么到底什么是描述符呢？描述符，用一句话来说，就是将某种特殊类型的类的实例指

2013-08-25 14:37:28 13166 2

原创 Python之美[从菜鸟到高手]--生成器之全景分析

yield指令，可以暂停一个函数并返回中间结果。使用该指令的函数将保存执行环境，并且在必要时恢复。生成器比迭代器更加强大也更加复杂，需要花点功夫好好理解贯彻。看下面一段代码：def gen(): for x in xrange(4): tmp = yield x if tmp == 'hello': print 'worl

2013-08-23 01:13:36 18039 11

原创 Python之美[从菜鸟到高手]--装饰器之使用情景分析

有这个一个需求，统计一个函数执行时间 ? 方案很多，但无疑使用装饰器是一种好的方案。def timer(func): def _timer(*args,**kwargs): #参数是函数调用传递过来的参数 begin=time.time() func(*args,**kwargs) time.sleep(2) print

2013-08-20 22:36:09 7383 2

原创 Javascript 面向对象详解

刚接触Js的童鞋会很不习惯Js的prototype继承，不管是C++，Java,还是Python 都有完整的类继承机制，如果把以前的思路带到Js中，你会吃不少的亏，所以我们首先要做的就是转换思路，将Js的继承机制当作新的东西学习，也不要疑惑为啥Js的继承这么麻烦，为什么没有Class的支持呢？统统的一切疑惑你都要换个思路，如果你最早接触的开发语言是Js，当你再遇到C++时，你也会有一样的疑惑，所以

2013-08-04 23:25:38 4780

原创暴力破解测试工具--Patator 源码分析

说到暴力破解大家首先想到的肯定是hydra,的确hydra的确非常强大，支持几乎所有的弱密码破解。hydra本身使用C语言开发，性能很高，很适合学习。但今天我们使用的是Patator,Patator本身使用Python开发，最新版本也就4000行左右，可以说小到极致，这主要多亏了Python库的丰富和强大。Patator下载地址： thttp://code.google.com/p/pat

2013-08-03 09:43:04 8565

原创 Js作用域与作用域链详解

一直对Js的作用域有点迷糊，今天偶然读到Javascript权威指南，立马被吸引住了，写的真不错。我看的是第六版本，相当的厚，大概1000多页，Js博大精深，要熟悉精通需要大毅力大功夫。一：函数作用域先看一小段代码：var scope="global";function t(){ console.log(scope); var scope="local" c

2013-07-28 22:38:15 132015 63

原创 python实战--csdn博客专栏下载器

打算利用业余时间好好研究Python的web框架--web.py,深入剖析其实现原理，体会web.py精巧之美。但在研究源码的基础上至少得会用web.py。思前想后，没有好的Idea,于是打算开发一个csdn博客专栏下载器。

2013-07-23 23:12:32 4247 5

原创 python实战--Python WebShell 开发 (上)

最近在研究WebShell，打算写一个Python版的WebShell,使用的是cgi, Apache配置文件http.conf需做如下:我将我的cgi脚本放到F:\py_cgi目录下，其中cgi-script指定脚本后缀名AddHandler cgi-script .pyScriptAlias /cgi-bin/ "F:/py_cgi/" AllowOverride None

2013-07-16 00:21:09 13566 2

原创 python实战--Http代理服务器

打算好好深入研究下pytho的socket编程，那天看了这篇博文，http://www.apprk.com/archives/146，于是打算学习下，仿写了一下，发现写好还真不容易，中途出现很多问题，果真是看的容易，做起来难啊。源代码如下：import socketimport threadimport urlparseimport selectBUFLEN=8192

2013-07-09 00:34:51 13329 2

原创毕业---新的开始

好久好久没有写新文章了，貌似已经过去7个月了。最大的变化就是我滚蛋了，离开了学校，踏入了社会，开始了新的旅程。工作一段时间挺怀恋大学时光，那时真的挺闲，最不缺的就是时间。实习期间还是毕设阶段，总共就请了1天半假，我一同事总是对我说，趁着还是学生，赶快出去玩玩吧，以后就没时间了。。。。。我很无赖，请假还要假条，嫌麻烦。工作一段时间最大感受就是看书不自由了。这话怎么说呢，有时候稍微闲

2013-07-07 20:12:47 2470 7

原创 C语言开发Linux下web服务器(支持GET/POST,SSL,目录显示等)

这个主要是在CSAPP基础上做的，添加了POST，SSL，目录显示等功能。一、实现功能：1. 支持GET/POST方法2. 支持SSL安全连接即HTTPS3. 支持CGI4. 基于IP地址和掩码的认证5. 目录显示6. 日志功能7. 错误提示页面源代码下载地址：点击打开链接二、设计原理首先介绍一些HTTP协议基本知识。#1.GET/PO

2012-12-29 17:10:22 36290 36

原创指针本质论

指针本质论 1.指针是什么? 和一般变量有什么区别? 指针就是地址，和一般变量没有本质区别，仅仅是它有自己的规则。int a=100; int *p=&a;printf("%d\n",a); // 100printf("%p\n",p); //0xbfa47858a是一个变量名，类型是int,值是100,a有自己的地址&ap是一个变量名，类型是int*,值是0xb

2012-10-21 21:17:54 2720 1

原创哈希表

哈希表的有优点很多，最重要的就是速度快。然而再好的东西也是有缺点的，无疑哈希表是基于数组的，这就带来了扩展的问题。有两个解决办法1，保证你的数组够大，不会溢出 2，动态重新分配哈希表的构造方法有许多，如直接寻址法，除法散列法，乘法散列法。。。。解决冲突的方法有：开发地址法，再哈希法，链地址法，建立公共溢出区下面提供一个除法散列法和链地址法结合的哈希实现。#include

2012-09-09 23:40:15 1737

原创堆的应用

一：堆排序算法#include #include using namespace std;#define LEFT(i) (2*(i)+1)#define RIGHT(i) (2*(i)+2)// 16(0)// / \ // 10(1) 8(2) // / \ //

2012-09-07 23:10:14 2256

原创 RTTI(dynamic_cast与typeid)

RTTI 运行时类型识别，程序能够使用基类的指针或引用来检索所指对象的实际派生类型C++通过两个操作符提供RTTI1.dynamic_cast 操作符，将基类的指针或引用安全的转换为派生类的指针或引用2.typeid操作符,返回指针或引用所指对象的实际类型dynamic_cast:使用dynamic_cast模拟虚函数调用请看下面这个小程序#incl

2012-09-02 23:46:24 2772

原创责任链模式

最近打算学习设计模式，刚开始总觉得有点难，貌似挺难想到的。于是本想从网上找C++设计模式视频，可是很失望的没找到。。。。很不情愿的看了一集马士兵的Java设计模式，讲的挺好，就是废话有点多，还有Java没学过。。。。于是听了一下，顺便用C++实现一下。标准的责任链模式类图如下，还是看一下把一：下面实现的是一个过滤器，比如，当你发贴时，需要检测内容的安全性，如有没有敏感词

2012-08-30 01:36:03 2679

数据科学实战

• 统计推断、探索性数据分析（EDA）及数据科学工作流程 • 算法 • 垃圾邮件过滤、朴素贝叶斯和数据清理 • 逻辑回归 • 金融建模 • 推荐引擎和因果关系 • 数据可视化 • 社交网络与数据新闻 • 数据工程、MapReduce、Pregel和Hadoop

2018-04-12

图解机器学习

数据科学是一个蓬勃发展、前途无限的行业，有人将数据科学家称为“21世纪头号性感职业”。本书从零开始讲解数据科学工作，教授数据科学工作所必需的黑客技能，并带领读者熟悉数据科学的核心知识——数学和统计学。作者选择了功能强大、简单易学的Python语言环境，亲手搭建工具和实现算法，并精心挑选了注释良好、简洁易读的实现范例。书中涵盖的所有代码和数据都可以在GitHub上下载。通过阅读本书，你可以：学到一堂Python速成课；学习线性代数、统计和概率论的基本方法，了解它们是怎样应用在数据科学中的；掌握如何收集、探索、清理、转换和操作数据；

2018-04-12

白话统计学

白话统计学高清完整版本书对统计学原理和术语进行了简洁、清晰而准确的解释，并通过大量实例讲述统计技术的操作方法。书中涵盖了社会科学研究所使用的大部分统计原理和方法，诸如集中趋势、变异程度、正态分布、z分数、标准误等基本概念，t检验、回归分析、方差分析、卡方检验、因子分析等较复杂的工具和方法。全书内容体系精炼，语言通俗易懂，表述严谨准确；既不刻意回避数学公式，也具备良好的可读性。

2018-04-12