pyppeteer实战项目 自动化脚本(解决了async多线程的问题；窗口置顶方法)

最新推荐文章于 2023-04-23 17:15:26 发布
置顶 最新推荐文章于 2023-04-23 17:15:26 发布
阅读量537 收藏 3
点赞数 2
文章标签： 自动化 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/conquer_galaxy/article/details/128654148
版权

导入所需库

import asyncio
import time

import pyppeteer as pyp
import bs4
import requests

import win32gui
import win32con
import threading

使Chrome浏览器窗口始终置顶


def get_all_hwnd(hwnd, mouse):

    # 获取所有窗口句柄
    hwnd_title = {}
    if (win32gui.IsWindow(hwnd)
            and win32gui.IsWindowEnabled(hwnd)
            and win32gui.IsWindowVisible(hwnd)):
        hwnd_title.update({hwnd: win32gui.GetWindowText(hwnd)})
    for h, t in hwnd_title.items():
        if t:
            print(h, t)
            windows_names.append(t)

# 桌面所有当前存在的窗口名称
def get_windows_names():
    global windows_names
    windows_names = []
    global googlewin_name
    googlewin_name=""
    print("所有窗口：")
    win32gui.EnumWindows(get_all_hwnd, 0)
    for x in windows_names:
        if " Google" in x:  # 有" Google"字段的窗口置顶！
            googlewin_name = x
            print("定位到窗口：")
            print(googlewin_name)
# 将googlewin_name窗口置顶
def place_top():
    # 置顶窗口
    print("置顶窗口")
    hwnd = win32gui.FindWindow(None, googlewin_name)
    # hwnd = win32gui.FindWindow('xx.exe', None)
    # 窗口需要正常大小且在后台，不能最小化
    win32gui.ShowWindow(hwnd, win32con.SW_SHOWNORMAL)
    # 窗口需要最大化且在后台，不能最小化
    # ctypes.windll.user32.ShowWindow(hwnd, 3)
    win32gui.SetWindowPos(hwnd, win32con.HWND_TOPMOST, 0, 0, 0, 0,
                          win32con.SWP_NOMOVE | win32con.SWP_NOACTIVATE | win32con.SWP_NOOWNERZORDER | win32con.SWP_SHOWWINDOW | win32con.SWP_NOSIZE)
    # 取消置顶
    # win32gui.SetWindowPos(hwnd, win32.HWND_NOTOPMOST, 0, 0, 0, 0,win32con.SWP_SHOWWINDOW|win32con.SWP_NOSIZE|win32con.SWP_NOMOVE)
def set_top():
    while True:
        try:
            toplace_top = input()
            if toplace_top == "1":
                place_top()
        except:
            pass

多线程问题的解决（截取的部分线程问题解决的关键代码）

async def getOjSourceCode(loginUrl):
    width, height = 1400, 600 #网页宽高
    browser = await pyp.launch(handleSIGINT=False,  # 这三个见https://blog.csdn.net/weixin_41822224/article/details/103719863
                               handleSIGTERM= False,  # 用于 多线程pyppeteer 遇到的一个问题
                               handleSIGHUP= False,# ValueError: signal only works in main threadpyppeteer
                               headless=False,
        userDataDir = r"D:\用户\LENOVO\Chrom浏览器用户数据\用于爬虫使用\UserData18132506429",args=[f'--window-size={width},{height+500}'],
        executablePath=r'C:\Users\LENOVO\AppData\Local\Google\Chrome\Application\chrome.exe')

def crawl():
    url = "https://space.bilibili.com/1002437080/fans/follow?spm_id_from=333.999.0.0"
    print("0")
    # asyncio.get_event_loop().run_until_complete(getOjSourceCode(url))
    print("1")
    # loop = asyncio.new_event_loop()
    # asyncio.set_event_loop(loop)
    new_loop = asyncio.new_event_loop()
    asyncio.set_event_loop(new_loop)
    loop = asyncio.get_event_loop()
    task=asyncio.ensure_future(getOjSourceCode(url))
    loop.run_until_complete(asyncio.wait([task]))
    st = task.result()
    # getOjSourceCode(url)  # 将协程加入到事件循环loop
    # loop.close()

 编写的爬虫代码

async def getOjSourceCode(loginUrl):
    width, height = 1400, 600 #网页宽高
    browser = await pyp.launch(handleSIGINT=False,  # 这三个见https://blog.csdn.net/weixin_41822224/article/details/103719863
                               handleSIGTERM= False,  # 用于 多线程pyppeteer 遇到的一个问题
                               handleSIGHUP= False,# ValueError: signal only works in main threadpyppeteer
                               headless=False,
        userDataDir = r"D:\用户\LENOVO\Chrom浏览器用户数据\用于爬虫使用\UserData18132506429",args=[f'--window-size={width},{height+500}'],
        executablePath=r'C:\Users\LENOVO\AppData\Local\Google\Chrome\Application\chrome.exe')
    page = await browser.newPage()
    await antiAntiCrawler(page)
    await page.setExtraHTTPHeaders({
        'Accept-Language': 'en-GB,en-US;q=0.9,en;q=0.8'
    })
    await page.setViewport({'width': width, 'height': height})
    await page.goto(loginUrl)
    # time.sleep(500)
    count=0
    cnt=0
    # 输入特定的页面序号按回车进入
    # element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.be-pager > span.be-pager-options-elevator > input")
    # await element.type("2")
    # await page.keyboard.press('Enter') #按下回车键

    time.sleep(5)
    # 窗口置顶！！！！！！！
    get_windows_names()
    place_top()

    element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.be-pager > li:nth-child(6)")  # 最后一页
    # element = await page.xpath("/html/body/div[2]/div[4]/div/div/div/div[2]/div[2]/div[2]/ul[2]/li[3]")
    # await element[0].click()
    await element.click(options={'button': 'left', #left, right, of middle, defaults to left
                           'clickCount': 1,   # 1 or 2
                           'delay': 500,     # 毫秒
                           })



    print(element,"第",count)
    time.sleep(5)
    while True:
        try:
            element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.be-pager > li:nth-child(5)")  # 倒数第二页
            await element.click()
            time.sleep(5)
            # op_count=1
            for i in range(1,21):
                try:
                    element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child("+str(i)+") > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > span")  # 已关注（或已互粉）按钮

                    # await element.focus()  # 没用的  要用hover()
                    await element.hover()  # 悬停在这个按钮以点击取消关注
                    # await ActionChains(page).move_to_element(element)
                    time.sleep(5)
                    #
                    # hover_element = webdriver.Chrome().find
                    # #   对该元素执行悬停操作
                    # ActionChains(driver).move_to_element(hover_element).perform()

                    element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child("+str(i)+") > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > ul > li:nth-child(2)")  # 找到登录按钮
                    await element.click()
                    cnt+=1
                    print("已取消关注"+str(cnt)+"个")
                    # await set_top()
                    time.sleep(5)
                except:
                    cnt+=1
                    print("取消关注"+str(cnt)+"个时失败")
                    cnt-=1
                    pass
            count += 1
            print("第"+str(count)+"页")
            if count == 4 or count==7:
                time.sleep(100)
            elif count > 10:
                return
        except:
            pass

# "#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child(5) > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > span"
# "#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child(5) > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > ul > li:nth-child(2)"
# "#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child(6) > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > ul > li:nth-child(2)"




async def antiAntiCrawler(page):
    #为page添加反反爬虫手段
    await page.setUserAgent('Mozilla/5.0 (Windows NT 6.1; Win64; x64) \ '
    'AppleWebKit/537.36 (KHTML, like Gecko) '
    'Chrome/78.0.3904.70 Safari/537.36')

    # user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.70
    await page.evaluateOnNewDocument(
    '() =>{ Object.defineProperties(navigator,'
    '{ webdriver:{ get: () => false } }) }')

# url = "https://www.bilibili.com/video/BV1De4y1Z7jb?spm_id_from=333.999.0.0&vd_source=4890592f27e3e22248b3d74c7563dde8"# 8-29 2



# "https://space.bilibili.com/616010334/fans/follow?spm_id_from=333.999.0.0"
# 18132506429: 1002437080
# paprika: 616010334

def crawl():
    url = "https://space.bilibili.com/1002437080/fans/follow?spm_id_from=333.999.0.0"
    print("0")
    # asyncio.get_event_loop().run_until_complete(getOjSourceCode(url))
    print("1")
    # loop = asyncio.new_event_loop()
    # asyncio.set_event_loop(loop)
    new_loop = asyncio.new_event_loop()
    asyncio.set_event_loop(new_loop)
    loop = asyncio.get_event_loop()
    task=asyncio.ensure_future(getOjSourceCode(url))
    loop.run_until_complete(asyncio.wait([task]))
    st = task.result()
    # getOjSourceCode(url)  # 将协程加入到事件循环loop
    # loop.close()
# def crawl():
#     url = "https://space.bilibili.com/1002437080/fans/follow?spm_id_from=333.999.0.0"
#     print("0")
#     asyncio.get_event_loop().run_until_complete(getOjSourceCode(url))
#     print("1")
# asyncio.run(set_top)

运行代码

light1 = threading.Thread(target=set_top, )
light2 = threading.Thread(target=crawl, )
# light1.setDaemon(True)
# light2.setDaemon(True)
light2.start()
light1.start()

完整代码

import asyncio
import time

import pyppeteer as pyp
import bs4
import requests

import win32gui
import win32con
import threading

def get_all_hwnd(hwnd, mouse):

    # 获取所有窗口句柄
    hwnd_title = {}
    if (win32gui.IsWindow(hwnd)
            and win32gui.IsWindowEnabled(hwnd)
            and win32gui.IsWindowVisible(hwnd)):
        hwnd_title.update({hwnd: win32gui.GetWindowText(hwnd)})
    for h, t in hwnd_title.items():
        if t:
            print(h, t)
            windows_names.append(t)

# 桌面所有当前存在的窗口名称
def get_windows_names():
    global windows_names
    windows_names = []
    global googlewin_name
    googlewin_name=""
    print("所有窗口：")
    win32gui.EnumWindows(get_all_hwnd, 0)
    for x in windows_names:
        if " Google" in x:  # 有" Google"字段的窗口置顶！
            googlewin_name = x
            print("定位到窗口：")
            print(googlewin_name)
# 将googlewin_name窗口置顶
def place_top():
    # 置顶窗口
    print("置顶窗口")
    hwnd = win32gui.FindWindow(None, googlewin_name)
    # hwnd = win32gui.FindWindow('xx.exe', None)
    # 窗口需要正常大小且在后台，不能最小化
    win32gui.ShowWindow(hwnd, win32con.SW_SHOWNORMAL)
    # 窗口需要最大化且在后台，不能最小化
    # ctypes.windll.user32.ShowWindow(hwnd, 3)
    win32gui.SetWindowPos(hwnd, win32con.HWND_TOPMOST, 0, 0, 0, 0,
                          win32con.SWP_NOMOVE | win32con.SWP_NOACTIVATE | win32con.SWP_NOOWNERZORDER | win32con.SWP_SHOWWINDOW | win32con.SWP_NOSIZE)
    # 取消置顶
    # win32gui.SetWindowPos(hwnd, win32.HWND_NOTOPMOST, 0, 0, 0, 0,win32con.SWP_SHOWWINDOW|win32con.SWP_NOSIZE|win32con.SWP_NOMOVE)
def set_top():
    while True:
        try:
            toplace_top = input()
            if toplace_top == "1":
                place_top()
        except:
            pass
async def getOjSourceCode(loginUrl):
    width, height = 1400, 600 #网页宽高
    browser = await pyp.launch(handleSIGINT=False,  # 这三个见https://blog.csdn.net/weixin_41822224/article/details/103719863
                               handleSIGTERM= False,  # 用于 多线程pyppeteer 遇到的一个问题
                               handleSIGHUP= False,# ValueError: signal only works in main threadpyppeteer
                               headless=False,
        userDataDir = r"D:\用户\LENOVO\Chrom浏览器用户数据\用于爬虫使用\UserData18132506429",args=[f'--window-size={width},{height+500}'],
        executablePath=r'C:\Users\LENOVO\AppData\Local\Google\Chrome\Application\chrome.exe')
    page = await browser.newPage()
    await antiAntiCrawler(page)
    await page.setExtraHTTPHeaders({
        'Accept-Language': 'en-GB,en-US;q=0.9,en;q=0.8'
    })
    await page.setViewport({'width': width, 'height': height})
    await page.goto(loginUrl)
    # time.sleep(500)
    count=0
    cnt=0
    # 输入特定的页面序号按回车进入
    # element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.be-pager > span.be-pager-options-elevator > input")
    # await element.type("2")
    # await page.keyboard.press('Enter') #按下回车键

    time.sleep(5)
    # 窗口置顶！！！！！！！
    get_windows_names()
    place_top()

    element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.be-pager > li:nth-child(6)")  # 最后一页
    # element = await page.xpath("/html/body/div[2]/div[4]/div/div/div/div[2]/div[2]/div[2]/ul[2]/li[3]")
    # await element[0].click()
    await element.click(options={'button': 'left', #left, right, of middle, defaults to left
                           'clickCount': 1,   # 1 or 2
                           'delay': 500,     # 毫秒
                           })



    print(element,"第",count)
    time.sleep(5)
    while True:
        try:
            element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.be-pager > li:nth-child(5)")  # 倒数第二页
            await element.click()
            time.sleep(5)
            # op_count=1
            for i in range(1,21):
                try:
                    element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child("+str(i)+") > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > span")  # 已关注（或已互粉）按钮

                    # await element.focus()  # 没用的  要用hover()
                    await element.hover()  # 悬停在这个按钮以点击取消关注
                    # await ActionChains(page).move_to_element(element)
                    time.sleep(5)
                    #
                    # hover_element = webdriver.Chrome().find
                    # #   对该元素执行悬停操作
                    # ActionChains(driver).move_to_element(hover_element).perform()

                    element = await page.querySelector("#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child("+str(i)+") > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > ul > li:nth-child(2)")  # 找到登录按钮
                    await element.click()
                    cnt+=1
                    print("已取消关注"+str(cnt)+"个")
                    # await set_top()
                    time.sleep(5)
                except:
                    cnt+=1
                    print("取消关注"+str(cnt)+"个时失败")
                    cnt-=1
                    pass
            count += 1
            print("第"+str(count)+"页")
            if count == 4 or count==7:
                time.sleep(100)
            elif count > 10:
                return
        except:
            pass

# "#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child(5) > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > span"
# "#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child(5) > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > ul > li:nth-child(2)"
# "#page-follows > div > div.follow-main > div.follow-content.section > div.content > ul.relation-list > li:nth-child(6) > div.content > div > div.be-dropdown.fans-action-btn.fans-action-follow > ul > li:nth-child(2)"




async def antiAntiCrawler(page):
    #为page添加反反爬虫手段
    await page.setUserAgent('Mozilla/5.0 (Windows NT 6.1; Win64; x64) \ '
    'AppleWebKit/537.36 (KHTML, like Gecko) '
    'Chrome/78.0.3904.70 Safari/537.36')

    # user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.70
    await page.evaluateOnNewDocument(
    '() =>{ Object.defineProperties(navigator,'
    '{ webdriver:{ get: () => false } }) }')

# url = "https://www.bilibili.com/video/BV1De4y1Z7jb?spm_id_from=333.999.0.0&vd_source=4890592f27e3e22248b3d74c7563dde8"# 8-29 2



# "https://space.bilibili.com/616010334/fans/follow?spm_id_from=333.999.0.0"
# 18132506429: 1002437080
# paprika: 616010334

def crawl():
    url = "https://space.bilibili.com/1002437080/fans/follow?spm_id_from=333.999.0.0"
    print("0")
    # asyncio.get_event_loop().run_until_complete(getOjSourceCode(url))
    print("1")
    # loop = asyncio.new_event_loop()
    # asyncio.set_event_loop(loop)
    new_loop = asyncio.new_event_loop()
    asyncio.set_event_loop(new_loop)
    loop = asyncio.get_event_loop()
    task=asyncio.ensure_future(getOjSourceCode(url))
    loop.run_until_complete(asyncio.wait([task]))
    st = task.result()
    # getOjSourceCode(url)  # 将协程加入到事件循环loop
    # loop.close()
# def crawl():
#     url = "https://space.bilibili.com/1002437080/fans/follow?spm_id_from=333.999.0.0"
#     print("0")
#     asyncio.get_event_loop().run_until_complete(getOjSourceCode(url))
#     print("1")
# asyncio.run(set_top)

light1 = threading.Thread(target=set_top, )
light2 = threading.Thread(target=crawl, )
# light1.setDaemon(True)
# light2.setDaemon(True)
light2.start()
light1.start()

conquer_galaxy
关注
〖Python WEB 自动化测试实战篇⑨〗- 实战 - selenium 实现浏览器标签页的切换
易编橙 · 终身成长社群，相遇已是上上签！
06-09 4万+
在实际工作中，我们经常会遇到页面切换的情况。就比如当点击了某个功能的按钮后，浏览器出现了新的标签页，需要在这些标签页之间进行切换。要如何通过 selenium 来实现这样的场景呢？这就是我们今天要学习的内容。......
pyppeteer:无头ChromeChrome自动化库（伪造者的非官方端口）
05-01
p 注意：这是的延续。 在进行任何类型的开发之前，强烈建议您先看一下 ，以便不断进行更新该库的工作，以避免重复工作。 JavaScript（无头）chrome / chromium浏览器自动化库的非官方Python端口。 免费软件：MIT许可证（包括根据Apache 2.0许可证分发的工作） 文档： : 安装 pyppeteer需要Python> = 3.6 使用来自PyPI的pip安装： pip install pyppeteer 或从此安装最新版本： pip install -U git+https://github.com/pyppeteer/pyppeteer@dev 用法 注意：首次运行pyppeteer时，如果系统上未找到最新版本的Chromium，则它将下载最新版本的Chromium（〜150MB）。 如果您不喜欢这种行为，请确保已安装合适的C​​hrom
pyppeteer实战
import_hair的博客
03-26 234
import logging import asyncio from pyppeteer import launch from pyppeteer.errors import TimeoutError from motor.motor_asyncio import AsyncIOMotorClient #数据库操作 motor_connect_string = 'mongodb://localhost:27017' momgodb_name = 'movie' mongo_collection_name.
Pyppeteer实战
Xiaoweidumpb
11-18 255
import logging from pyppeteer import launch from pyppeteer.errors import TimeoutError import asyncio import json from os import makedirs from os.path import exists RESULTS_DIR='results' exists(RESULTS_DIR)or makedirs(RESULTS_DIR) async def save_data(dat
Pyppeteer爬取实战
zwlww1的博客
01-31 346
Python Pyppeteer 爬虫
pyppeteer自动化库
落神的博客
03-22 981
写这篇主要也是为了能让自己多一种爬取动态网页的思路，不至于仅仅局限于selenum。 也是在简书上看到了相关文章，觉得不错，本篇文章主要引用于（https://www.jianshu.com/p/611ed6b75d47）这篇文章。 有兴趣的可以去官方文档查看（https://miyakogi.github.io/pyppeteer） Pyppeteer是一个无头JavaScript的基于C...
@Async异步线程：Spring 自带的异步解决方案
最新发布
Java Punk
04-23 3285
Spring3 开始提供了@Async 注解，该注解可以被标注在方法上，以便异步地调用该方法。
@async多线程编程和Feign失败熔断故障以及RestTemplate无法自动注入等问题的解决方案
Aaron_2018
02-13 3425
1.解决RestTemplate无法注入 /** *在启动类，解决restTemplate无法注入 */ @Autowired private RestTemplateBuilder builder; @Bean public RestTemplate restTemplate() { return builder.build(); ...
C#多线程解决界面卡死问题的完美解决方案_极简版
03-13
总结来说，C#中多线程解决界面卡死问题的方法主要包括使用BackgroundWorker和async/await模式。这两种方法都旨在将耗时操作与UI更新分离，确保用户界面始终响应。理解并熟练运用这些技术，能够显著提升C#应用的用户...
Spring @Async 注解多线程导致Spring的注解@Transactional失效问题
ssmaaa的博客
02-20 3757
本文Spring @Async 注解多线程导致Spring的注解@Transactional失效与多数据源切换问题！ 问题：多线程为什么会导致事务注解@Transactional失效 实现AOP的方法有动态代理、编译期，类加载期织入等等，Spring实现AOP的方法则就是利用了动态代理机制，正因如此，才会导致某些情况下@Async和@Transactional不生效。 @Async注解使用如下 @EnableAsync //添加此注解开启异步调用（可用在配置类上，也可在启动类上标注） public
1.pyppeteer+scrapy开发环境搭建
11-19
win7环境使用eclipse+pydev开发调试python，编写pyppeteer和scrapy爬虫项目的环境搭建步骤。
必知必会——selenuim_pyppeteer模拟登陆防检测破解(非js注入那种，js注入现在也不能有效解决，而本文能够帮助你有效解决这个问题)
09-08
对于使用模拟登陆等操作来爬虫的手段，已经很容易被检测了，网上很多教程是说在网站所有js代码执行之前来执行js代码来到达效果，确实修改成功了。这种写法就万无一失了吗？并不是这样的，如果此时点击链接、输入网址进入另一个页面，或者开启新的窗口，你会发现，window.navigator.webdriver这个对象又变成true了，所以这样并非根治。但是本文，提到的设置内容能够有效根治网上的一大堆无效的js注入教程，本文详细讲解，通过如何设置，来达到仿被检测的问题，一次阅读终生受益，再也不为使用模拟登陆被限制的问题而头疼。
Python多线程爬虫与多种数据存储方式实现(Python爬虫实战2)
02-18 724
Python多线程爬虫与多种数据存储方式实现(Python爬虫实战2) 1. 多进程爬虫 　　对于数据量较大的爬虫，对数据的处理要求较高时，可以采用python多进程或多线程的机制完成，多进程是指分配多个CPU处理程序，同一时刻只有一个CPU在工作，多线程是指进程内部有多个类似"子进程"同时在协同工作。python中有多种多个模块可完成多进程和多线程的工作，此处此用multiprocessin...
异步自动化工具pyppeteer的使用方法
Aaron_liu1的博客
07-14 1487
pyppeteer的介绍及安装 Puppeteer 是 Google 基于 Node.js 开发的一个工具，有了它我们可以通过 JavaScript 来控制 Chrome 浏览器的一些操作，当然也可以用作网络爬虫上，其 API 极其完善，功能非常强大。Pyppeteer 是 Puppeteer 的 Python 版本的实现，但他不是 Google 开发的，是一位来自于日本的工程师依据 Puppeteer 的一些功能开发出来的非官方版本。 安装：pip install pyppeteer 浏览器驱动自动会.
Pyppeteer和Flask问题,服务器部署Requests_html问题,多线程调用pyppeteer或requests_html问题
weixin_44388373的博客
06-04 750
Pyppeteer和Flask问题,服务器部署Requests_html问题,多线程调用pyppeteer或requests_html问题 flask的debug模式下调用pyppeteer的冲突 多线程调用pyppeteer或requests_html问题 centos 8部署pyppeteer和requests_html的问题 1. flask 运行 Pyppeteer 报错 “signal only works in main thread” puppeteer在初始化launch时，必须增加以下的参
python多线程限制_python多线程
weixin_39952182的博客
12-17 564
为了提高程序并行运行的效率，我们会采取多进程和多线程的方法。通常来说，多进程适用于计算密集型任务，多线程适用于IO密集型任务，如网络爬虫。关于多线程和多进程的区别，请参考这个表格。下面将使用python标准库的multiprocessing包来尝试多线程的操作，在python中调用多线程要使用multiprocessing.dummy，如果是多进程则去掉dummy即可。提醒特别注意，这里的多线程仍...
多线程踩坑
ZF507508的博客
11-23 133
public class ThreadTest implements Runnable { private static int j=0; Object object =new Object(); private String name; private ThreadTest(String name) { this...
使用pyppeteer或者selenium时，chrome窗口最大化
supertangcugu的博客
05-03 5760
使用pyppeteer或者selenium时，chrome窗口最大化step1 定义一个获取当前屏幕尺寸的函数step2 使用该函数 废话不多说直接上代码 step1 定义一个获取当前屏幕尺寸的函数 def screen_size(): # 使用tkinter获取屏幕大小 import tkinter tk = tkinter.Tk() width = tk.win...
python控制浏览器最小化,如何使用Python聚焦或最小化窗口？
weixin_34581086的博客
12-20 513
I need to get focus to a specified window, and the only way I'm seeing on my head, is minimizing all windows on front of it until I get the right one...How can I do it?Windows 7, and no specific toolk...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值