多线程爬虫案例

最新推荐文章于 2024-01-02 09:38:11 发布
最新推荐文章于 2024-01-02 09:38:11 发布
阅读量1k 收藏 1
点赞数
分类专栏： 爬虫 python 文章标签： 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38220144/article/details/108922158
版权

1.目标网站：https://www.1point3acres.com/bbs/forum-28-1.html此处开始的若干页

2.首先创建两个队列，一个页面队列和一个用于I/O的队列。顺便创建个锁，防止写的时候出问题

page_queue = Queue()
joke_queue = Queue()
gLock = threading.Lock()

3.用CSV存储数据

fp = open('asd.csv','a+',newline='',encoding='utf-8')
url = 'https://www.1point3acres.com/bbs/forum-28-1.html'
writer = csv.writer(fp)
writer.writerow(('标题','链接'))

4.寻找最大页码

max_page = find_max_page(url)
def find_max_page(url):
    selector = comp(url)
    max_page = selector.xpath('//div[@class="pg"]//span/text()')
    if max_page :
        max_page = max_page[0]
        max_page = int(re.findall('\d+',max_page)[0])
        return max_page
    else:
        return

5.循环如栈，把页压入队列内

    for x in range(1,max_page):
        url = 'https://www.1point3acres.com/bbs/forum-28-{}.html'.format(x)
        page_queue.put(url)

    for x in range(4):
        t = BSSpider(page_queue,joke_queue)
        t.start()

    for x in range(4):
        t = BSWriter(joke_queue,writer,gLock)
        t.start()

6.解析线程代码如下：

class BSSpider(threading.Thread):
    # headers = {
    #     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
    # }
    headers = {
        'User-Agent': get_ua(),
        'accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'accept - encoding':'gzip, deflate, br',
        'accept - language':'zh - CN, zh;q = 0.9',
        'referer': 'https://www.1point3acres.com/bbs/',
        'upgrade - insecure - requests':'1',
        'Connection': 'keep-alive',
    }
    # ip代理池
    proxies = {
        'http': '123.54.44.60:9999',
        'http': '182.101.207.11:8080',
        'http': '121.232.148.231:9000',
        'http': '183.166.163.61:9999',
        'http': '175.44.108.179:9999',
        'http': '175.43.155.36:9999',
        'http': '39.108.59.34:8118',
        'http': '219.159.38.207:56210',
        'http': '113.194.48.14:9999',
        'http': '163.125.220.175:8118',
        'http': '123.149.136.180:9999',
        'http': '121.232.194.37:9000',
        'http': '1.85.5.66:8060',
        'http': '125.108.100.20:9000',
        'http': '114.101.252.37:3000',
    }
    def __init__(self,page_queue,joke_queue,*args,**kwargs):
        super(BSSpider,self).__init__(*args,**kwargs)
        # 基域名
        self.base_domain = 'https://www.1point3acres.com/bbs/'
        self.page_queue = page_queue
        self.joke_queue = joke_queue

    def run(self):
        while True:
            # 如果页面队列为空，则break退出
            if self.page_queue.empty():
                break
            # 从页面队列取出url
            url = self.page_queue.get()
            print(url)
            # 设置重传
            requests.adapters.DEFAULT_RETRIES = 30
            response = requests.get(url,headers=self.headers,proxies=self.proxies,timeout=100).text
            html = etree.HTML(response)
            titles = html.xpath('//a[contains(@class,"xst")]/text()')
            urls = html.xpath('//a[contains(@class,"xst")]/@href')
            # print(titles,urls)
            for title,link in zip(titles,urls):
                link = self.base_domain + link
                # 把得到的数据压入I/O队列中
                self.joke_queue.put((title,link))
            print('完成一页')

6.I/O线程代码如下：

class BSWriter(threading.Thread):
    def __init__(self,joke_queue,writer,gLock,*args,**kwargs):
        super(BSWriter,self).__init__(*args,**kwargs)
        self.joke_queue = joke_queue
        self.writer = writer
        # 用于写入的锁
        self.lock = gLock

    def run(self):
        while True:
            try:
                joke_info = self.joke_queue.get(timeout=40)
                title,link = joke_info
                # 写入之前上锁
                self.lock.acquire()
                self.writer.writerow((title,link))
                self.lock.release()
                # print('保存一条')
            except:
                break

7.完整代码如下：

# -*- encoding: utf-8 -*-
#@Time: 15:40
#@Software:PyCharm
import requests
from lxml import etree
import threading
from queue import Queue
import csv
import random
import re
import time
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
# def get_ua():
#     user_agents = [
#         "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36",
#         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36",
#         "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2226.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2224.3 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36",
#         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36",
#         "Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36",
#         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1944.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.3319.102 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2117.157 Safari/537.36",
#         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1866.237 Safari/537.36",
#         "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/4E423F",
#         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36 Mozilla/5.0 (iPad; U; CPU OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B334b Safari/531.21.10",
#         "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.517 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36",
#         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1664.3 Safari/537.36",
#         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1664.3 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.16 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1623.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.62 Safari/537.36",
#         "Mozilla/5.0 (X11; CrOS i686 4319.74.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.2 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1468.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1467.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1464.0 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1500.55 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36",
#         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36",
#         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.90 Safari/537.36",
#         "Mozilla/5.0 (X11; NetBSD) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36",
#         "Mozilla/5.0 (X11; CrOS i686 3912.101.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36",
#         "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.60 Safari/537.17",
#         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17",
#         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.15 (KHTML, like Gecko) Chrome/24.0.1295.0 Safari/537.15",
#         "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.14 (KHTML, like Gecko) Chrome/24.0.1292.0 Safari/537.14",
#         'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36',
#     ]
#     user_agent = random.choice(user_agents)  # random.choice(),从列表中随机抽取一个对象
#     return user_agent

class BSSpider(threading.Thread):
    # headers = {
    #     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
    # }
    headers = {
        'User-Agent': get_ua(),
        'accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'accept - encoding':'gzip, deflate, br',
        'accept - language':'zh - CN, zh;q = 0.9',
        'referer': 'https://www.1point3acres.com/bbs/',
        'upgrade - insecure - requests':'1',
        'Connection': 'keep-alive',
    }
    # ip代理池
    proxies = {
        'http': '123.54.44.60:9999',
        'http': '182.101.207.11:8080',
        'http': '121.232.148.231:9000',
        'http': '183.166.163.61:9999',
        'http': '175.44.108.179:9999',
        'http': '175.43.155.36:9999',
        'http': '39.108.59.34:8118',
        'http': '219.159.38.207:56210',
        'http': '113.194.48.14:9999',
        'http': '163.125.220.175:8118',
        'http': '123.149.136.180:9999',
        'http': '121.232.194.37:9000',
        'http': '1.85.5.66:8060',
        'http': '125.108.100.20:9000',
        'http': '114.101.252.37:3000',
    }
    def __init__(self,page_queue,joke_queue,*args,**kwargs):
        super(BSSpider,self).__init__(*args,**kwargs)
        # 基域名
        self.base_domain = 'https://www.1point3acres.com/bbs/'
        self.page_queue = page_queue
        self.joke_queue = joke_queue

    def run(self):
        while True:
            # 如果页面队列为空，则break退出
            if self.page_queue.empty():
                break
            # 从页面队列取出url
            url = self.page_queue.get()
            print(url)
            # 设置重传
            requests.adapters.DEFAULT_RETRIES = 30
            response = requests.get(url,headers=self.headers,proxies=self.proxies,timeout=100).text
            html = etree.HTML(response)
            titles = html.xpath('//a[contains(@class,"xst")]/text()')
            urls = html.xpath('//a[contains(@class,"xst")]/@href')
            # print(titles,urls)
            for title,link in zip(titles,urls):
                link = self.base_domain + link
                # 把得到的数据压入I/O队列中
                self.joke_queue.put((title,link))
            print('完成一页')


class BSWriter(threading.Thread):
    def __init__(self,joke_queue,writer,gLock,*args,**kwargs):
        super(BSWriter,self).__init__(*args,**kwargs)
        self.joke_queue = joke_queue
        self.writer = writer
        # 用于写入的锁
        self.lock = gLock

    def run(self):
        while True:
            try:
                joke_info = self.joke_queue.get(timeout=40)
                title,link = joke_info
                # 写入之前上锁
                self.lock.acquire()
                self.writer.writerow((title,link))
                self.lock.release()
                # print('保存一条')
            except:
                break


def main():
    page_queue = Queue()
    joke_queue = Queue()
    gLock = threading.Lock()
    fp = open('asd.csv','a+',newline='',encoding='utf-8')
    url = 'https://www.1point3acres.com/bbs/forum-28-1.html'
    writer = csv.writer(fp)
    writer.writerow(('标题','链接'))
    max_page = find_max_page(url)
    for x in range(1,max_page):
        url = 'https://www.1point3acres.com/bbs/forum-28-{}.html'.format(x)
        page_queue.put(url)

    for x in range(4):
        t = BSSpider(page_queue,joke_queue)
        t.start()

    for x in range(4):
        t = BSWriter(joke_queue,writer,gLock)
        t.start()

def find_max_page(url):
    selector = comp(url)
    max_page = selector.xpath('//div[@class="pg"]//span/text()')
    if max_page :
        max_page = max_page[0]
        max_page = int(re.findall('\d+',max_page)[0])
        return max_page
    else:
        return
# def comp(url):
#     ua = get_ua()
#     headers = {
#         'User-Agent': ua,
#         'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
#         'accept - encoding': 'gzip, deflate, br',
#         'accept - language': 'zh - CN, zh;q = 0.9',
#         'referer': 'https://www.1point3acres.com/bbs/',
#         'upgrade - insecure - requests': '1',
#         'Connection': 'keep-alive',
#     }
#     proxies = {
#         'http': '123.54.44.60:9999',
#         'http': '182.101.207.11:8080',
#         'http': '121.232.148.231:9000',
#         'http': '183.166.163.61:9999',
#         'http': '175.44.108.179:9999',
#         'http': '175.43.155.36:9999',
#         'http': '39.108.59.34:8118',
#         'http': '219.159.38.207:56210',
#         'http': '113.194.48.14:9999',
#         'http': '163.125.220.175:8118',
#         'http': '123.149.136.180:9999',
#         'http': '121.232.194.37:9000',
#         'http': '1.85.5.66:8060',
#         'http': '125.108.100.20:9000',
#         'http': '114.101.252.37:3000',
#     }
#     requests.adapters.DEFAULT_RETRIES = 30
#     html_data = requests.get(url=url, headers=headers, proxies=proxies, timeout=10)
#     # html_data.encoding = html_data.apparent_encoding
#     html = html_data.text
#     selector = etree.HTML(html)
#     return selector
if __name__ == '__main__':
    main()

 

罚酒饮得
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
爬虫实战4—多线程与多进程爬虫
Duxianzi的博客
08-09 5026
文章说明：本文是在学习一个网络爬虫课程时所做笔记，文章如有不对的地方，欢迎指出，积极讨论。 一、表单及登录 登录的核心是为了获得cookie，登录成功后，header会有设置cookie的相关信息，此时我们需要把服务器返回的cookie信息，写入到我们后续请求的header的cookie里。 （一）HTML提交数据： （1）form表单 HTML的标签，由浏览器实现post方法 表
Python3多线程爬虫实例讲解代码
12-24
多线程概述 多线程使得程序内部可以分出多个线程来做多件事情，充分利用CPU空闲时间，提升处理效率。python提供了两个模块来实现多线程thread 和threading ，thread 有一些缺点，在threading 得到了弥补。并且在...
Python爬虫——多线程（一）
R71802的博客
06-05 783
pycharm 腾讯课堂 浏览器 n个cpu核心 可以同时执行多个任务线程 进程中的执行单位就是线程（进程中所包含的执行单位就是线程） 一个进程可以包含多个线程在python中 实际上一次只能执行一个线程 存在线程锁 用来解决资源竞争的问题主要用来解决效率问题 I/O操作 网络IO 磁盘IO需要把多线程需要完成的工作写入到事件函数中 可以同时进行多个线程的事件 2.类创建多线程 线程锁 利用线程锁解决资源竞争问题 得先找到可能会出现资源竞争问题得地方找到之后给这个可能得地方上把 锁 上锁要记得解锁不然
【基础】【Python网络爬虫】【14.多进程与多线程】并发、并行、同步、异步（附大量案例代码）（建议收藏）
最新发布
weixin_43612602的博客
01-02 1597
一、通俗理解并发编程中的相关核心概念 核心概念：进程、线程和互斥锁 二、进程 1. 什么是进程 2. 进程调度 3. 并发与并行 举例说明 总结 4. 进程的状态 就绪(Ready)状态 执行/运行（Running）状态 阻塞(Blocked)状态（耗时操作） 终止状态 5. 同步和异步 `同步` `异步` 案例理解 6. 进程的实现 - multiprocessing Process模块 具体实现过程 7. 使用进程实现同步/异步效果 同步效果 异步效果（重点） Join方法的使用（了解） 守护进程（了解
4.4 爬虫实例03 （多线程） 2021-06-18
qq_37061571的博客
06-18 334
前面两章给大家讲了爬虫基础和保存数据，这章来了解一下多线程。 什么是多线程？
Python多线程爬虫实例
热门推荐
junior19的博客
04-03 1万+
前言  大数据分析自然需要大量的数据，爬虫是获取数据的一种途径，Python是十分适合写爬虫的语言，Scrapy是Python的一个高级爬虫框架，那么学习Scrapy之前先简单实现一些爬虫例子，本文记录作者第一次实现爬虫。 未成年人请酌情阅读正文  首先当然要安装Python了，作者使用Python2.7.14，IDE使用PyCharm，需要准备的模块有requests、re、lxml（可以通过p
学习多线程爬虫案例记录
weixin_57385603的博客
04-22 585
在学习作者谢乾坤的《Python爬虫开发 从入门到实战》微课版的4.4节时，对阶段案例——小说网站爬虫开发进行一个学习总结。
Python多线程Threads 【爬虫示例】
baiqibushitouxia的博客
04-10 758
本篇文章介绍了多线程threads和队列queue的操作，并用cnblogs进行了实例化演示爬取。
Python多线程爬虫实战_爬取糗事百科段子的实例
12-24
多线程爬虫：即程序中的某些程序段并行执行， 合理地设置多线程，可以让爬虫效率更高 糗事百科段子普通爬虫和多线程爬虫 分析该网址链接得出： https://www.qiushibaike.com/8hr/page/页码/ 多线程爬虫也就和JAVA的...
多线程爬虫实例（Python）
07-20
此为以斗图网抓取图片，以多线程为基础的Python为实例
python多线程爬虫爬取电影天堂资源.zip
12-28
实战项目：结合实际案例，让您在实践中掌握Python爬虫的运用，真正做到学以致用。 三、适用人群 无论您是数据分析师、网络开发者还是对Python爬虫感兴趣的爱好者，这些资源都将为您的学习和实践提供有力的支持。 ...
爬虫初阶（四）—— 百思不得姐多线程爬虫案例
yhhuang17的博客
11-05 202
import re from parse_url import parse_url import requests import time import threading from queue import Queue start = time.time() class Neihan_Spider(object): def __init__(self): self.u...
Python爬虫实例2-多线程爬虫抓取糗事百科数据
皓阳当空-博客
10-16 3989
Queue（队列对象） Queue是python中的标准库，可以直接import Queue引用;队列是线程间最常用的交换数据的形式 python下多线程的思考 对于资源，加锁是个重要的环节。因为python原生的list,dict等，都是not thread safe的。而Queue，是线程安全的，因此在满足使用条件下，建议使用队列 初始化： class Queue.Queue(
Python笔记-多线程爬虫实例
IT1995的博客
03-13 4857
如下，线程池两个线程： 线程池关键代码： 源码如下： import re, multiprocessing import requests, time class HandleLaGou(object): def __init__(self): self.laGou_session = requests.session() self.hea...
v博Python爬虫实战案例，多线程实现3小时100万量
Python爬虫各种技术解决方案记录
06-21 999
需求：抓取某微博用户里的粉丝信息，通过抓包分析，可以看到有个friends的数据包就有我们想要的信息：每个包只有20条数据，再来翻页抓下一个包：对比两个包，很明显page数就是下一页，uid是用户id，用户id也就是用户主页链接的后面一段，type直接固定fans就行上Pycharm，构建传参和headers，这里注意要登录后的cookie： 测试数据没问题，但是每个用户粉丝............
45 爬虫 - 多线程爬虫案例
阿甘兄
08-30 317
Queue（队列对象） Queue是python中的标准库，可以直接import Queue引用;队列是线程间最常用的交换数据的形式 python下多线程的思考 对于资源，加锁是个重要的环节。因为python原生的list,dict等，都是not thread safe的。而Queue，是线程安全的，因此在满足使用条件下，建议使用队列 1、初始化： class Queue.Queue(maxsiz...
如何利用python制作一个小游戏
qq_38220144的博客
03-21 2477
1.首先创建一窗口 import pygame import pygame.locals as locals pygame.init() pygame.display.set_mode((300,300)) while True: #窗口无响应是因为没有任何注册在窗口上的事件 #为当前窗口增加响应事件 #利用pygame注册事件，其返回值是一个列表，存放当前注册时获...
python selenium多线程爬虫案例
05-13
下面是一个简单的Python Selenium多线程爬虫案例： ```python import threading from selenium import webdriver class MyThread(threading.Thread): def __init__(self, url): threading.Thread.__init__(self)...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值