Python3 多线程数据采集中的一些坑

采集数据的准备：

1.网页解析：Requests 这个是Python中的Python HTTP 神库

2.threading,queue,re,time 等系统模块

并没有使用采集框架，除Requests模块以外，其它完全使用标准库模块。

伪代码

workQueue = queue.Queue() #采集任务
threads[] 采集线程。
class Mythread: #创建工作线程
p_title = r'\d+\w+\d\d\d' #一些需要采集的正则

def doThreading() #线程中需要执行的任务
......
for i in work:
    workQueue.put(item)#组装任务
#创建工作线程
for name in threadName:
    thread = thread.Thread(name)
    thread.start()#开始采集
    threads.append(thread) #入队列

# 一直循环判断任务是否结束
while not workQueue.empty():
        time.sleep(1)
#释放进程
for t in threads:
    t.join(）

保存文件或是加入数据库

遇到的一些坑（问题）：

1.采集中遇到连接超时 长时间采集，网络连接超时会报out异常，线程自然就会结束，程序崩溃。 这个采用try捕获后，把当前失败的任务重新workQueue.put(item)#再次装回任务队列中

2.正则匹配不到，组装结果时报 None 异常 这个建议用if判断一下，如果没有匹配到结果后进行一下处理比较好，不然任务多起来，网页上各种情况都有可能的。

3.数据保存 一般保存没有什么大问题，主要是读取。 如果保存后是字符串,之前是list 或是 元组（Tuples）保存后就是字符串了，再读取就需要转换成对应的容器，这里用eval(s)函数方法，效果还是比较不错的。 还有就是大文本在读取的时候如果一次用python read()全部读取的时候会出现莫明的无反应及读取内容不全的情况 ，这里采用分段读取比较好些：

l = []
with open('test.txt', mode='r',encoding='utf-8') as f:
    s = ''
    while True:  
        temp = f.read(100)#分段读取，可以解决读取大文件时无法读取的奇怪问题
        if temp == '':  
            break
        s += temp
    l = eval(s)
    print(len(l))
    f.close() 

当然也可以直接入库，sqlite3当然是最佳的选择。

conn = sqlite3.connect('designlist.db')#创建数据库
cur = conn.cursor()#游标

#插入数据
for k in l:
    v = (None,k[0],k[1],k[2],int(k[3]))
    ins = "insert into tb values(?,?,?,?,?);"
    cur.execute(ins, v)
conn.commit()#提交事务
conn.close#关闭连接

据说，这种方式插入数据可以防止SQL注入？

还就是多线程分配任务

多线程存在从wordQueue中抢任务的现象，有时只会有一二个线程在工作，其它线程都傻住不动，这里解决的方法就是在每个线程工作结束后让他休息sleep(0.001)秒，这样其它线程就有机会抢到工作了。

本贴主要是记录在多线程采集中遇到的坑，有问题可以和我一起探讨哈。

转载于:https://my.oschina.net/jsky/blog/1329868