关闭

python多线程定向爬虫

标签: python多线程
371人阅读 评论(0) 收藏 举报
分类:
#!/bin/bash/env python
import MySQLdb
import requests
import threading


def toWrite(fp,lst,url):
for i in lst: 
testurl = url+i[0]               //定向url
testurl = testurl.lower()
print testurl
rsp = requests.get(testurl)
print rsp.status_code
fp.write(i[0]+'\t'+str(rsp.status_code)+'\n')


url = 'http://127.0.0.1/u/'
conn = MySQLdb.connect('127.0.0.1','root','123456','coupon_site')
cur = conn.cursor()
res = cur.execute('select user_name_slug from app_coupon_api where couponid>642369')
lst = cur.fetchall()
fp = open('404.txt','w+')
threads = []
for i in range(0,len(lst),150000):   //分片,线程个数为:  总数组长度/150000  
t = threading.Thread(target=toWrite,args=(fp,lst[i:i+150000],url))   //多线程参数传递
threads.append(t)


for t in threads:   //循环开启线程,setDaemon不等待同步
t.setDaemon(True)
t.start()
print(len(threads))
for t in threads:
t.join()

0
1

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:171186次
    • 积分:4234
    • 等级:
    • 排名:第7974名
    • 原创:247篇
    • 转载:74篇
    • 译文:3篇
    • 评论:8条
    文章分类