python多线程爬虫框架_python-爬虫 多线程爬虫

多线程爬虫

今日内容

1. 并发与并行(**)

2. 多线程导致数据的不安全(**) --> 理解不了, 那就记住结论(多线程共同操作数据会导致数据不安全)

3. 多线程爬虫架构(*****)

4. 多线程爬虫的代码(*****)

1.并发与并行

1.并发: 在同一时间段内, 所有任务同时运行.

2.并行: 在同一时刻, 所有任务同时执行

2.多线程

i = 0

i += 1

i -= 1

print(i)

多线程共同操作数据会导致数据不安全

3.多线程架构图

1.url,发请求, 获取响应

2.数据解析

3.数据持久化

from threading import Thread

from threading import Lock

from queue import Queue

import requests

import pymysql

from lxml import etree

# base_url = 'http://xiaohua.zol.com.cn/youmo/%s.html'

# 爬虫类

class Sqider(Thread):

def __init__(self, sname, urlQueue, dataQueue):

super().__init__()

self.sname = sname

self.urlQueue = urlQueue

self.dataQueue = dataQueue

self.headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'

}

# 爬取数据

def run(self, ):

base_url = 'http://xiaohua.zol.com.cn/youmo/%s.html'

while 1:

# block 代表阻塞，block为True即为阻塞。block为False为不阻塞

try:

print('%s正在爬取数据' % self.name)

page = self.urlQueue.get(block=False)

res = requests.get(url=base_url % page, headers=self.headers)

self.dataQueue.put(res.text)

print('%s提交数据完毕--' % self.name)

except:

break

# 解析类

class Parse(Thread):

def __init__(self, pname, dataQueue, conn, cursor, lock):

super().__init__()

self.pname = pname

self.dataQueue = dataQueue

self.conn = conn

self.cursor = cursor

self.lock = lock

def run(self):

# 实现数据解析的过程

print('run方法已经调用')

self.parse(self.dataQueue) # 调用parse方法

def parse(self, dQueue):

# 实现具体的解析过程

while 1:

try:

html = dQueue.get()

tree = etree.HTML(html)

li_list = tree.xpath('//li[@class="article-summary"]')

for li in li_list:

title = li.xpath('.//span[@class="article-title"]/a/text()')[0]

content = li.xpath('.//div[@class="summary-text"]//text()')

data = {'title': title, 'content': content}

with self.lock:

self.save(data)

except:

break

# 存储数据

def save(self, data):

sql = 'insert into joke values ("%s","%s")' % (data['title'], data['content'])

try:

self.cursor.execute(sql)

self.conn.commit()

print('%s存储数据成功' % self.pname)

except Exception as e:

print(e)

self.conn.rollback()

# 主函数

def main():

# 盛放url的地方 url队列

urlQueue = Queue()

for page in range(1, 101):

urlQueue.put(page)

# 放置响应数据

dataQueue = Queue()

# 开启爬虫线程

snames = ['爬虫1号', '爬虫2号', '爬虫3号']

slist = []

for sname in snames:

# 实例化线程对象

s = Sqider(sname, urlQueue, dataQueue)

# 开启线程

s.start()

slist.append(s)

for s in slist:

s.join()

# 链接数据库

conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='1234', charset='utf8',

database='xiaohua')

cursor = conn.cursor()

# 解析线程的开启

lock = Lock() # 上锁

plist = []

pnl = ['解析1号', '解析2号', '解析3号']

for pname in pnl:

p = Parse(pname, dataQueue, conn, cursor, lock)

p.start()

plist.append(p)

for p in plist:

p.join()

# 程序入口

if __name__ == '__main__':

main()