首先确保电脑有python环境
1.pip安装
pip install pyautogui
2.为了方便图片识别还需要先安装 opencv-python
pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
3.然后安装opencv-contrib-python
pip install opencv-contrib-python -i https://pypi.tuna.tsinghua.edu.cn/simple
识别桌面图标并点击
import pyautogui
from pyautogui import size
from pyautogui import position
from pyautogui import moveTo
from pyautogui import click
from pyautogui import doubleClick
import time
try:
#aaa4.png为桌面图标图片信息
oneLocation = pyautogui.locateOnScreen('aaa4.png',confidence=0.9)
except Exception as e:
print("ERROR:未找到对应图标")
else:
#进行点击操作
center = pyautogui.center(oneLocation)
print(center)
click(center,button='left',duration=1)
time.sleep(1)
pyautogui.press('enter')
time.sleep(2)
text = 'hello word!\n'
secs_between_keys = 0.1
pyautogui.typewrite(message=text, interval=secs_between_keys)
finally:
print('执行结束')
接着是python文字识别
最好有vpn下载速度快方便。
1.下载安装tesseract,地址:https://digi.bib.uni-mannheim.de/tesseract/
无脑点下一步但是语言这里记得把中文这几个勾选上
2.然后就是配置tesseract系统环境变量,只要配置到tesseract.exe所在的文件夹那一级就行
配置到tesseract.exe所在的文件夹那一级就行
3.在命令行输入tesseract --help查看是否会返回一些提示信息看到如下信息说明安装成功。
测试代码
from PIL import Image
import pytesseract
# tesseract命令位置
tesseract_cmd = r'D:\Tesseract-OCR\tesseract'
pytesseract.pytesseract.tesseract_cmd =tesseract_cmd
# 显示
image=Image.open('text6.png')
print(pytesseract.image_to_string(image,lang='chi_sim'))
返回结果
可以通过pyautogui截取指定区域的图片然后识别图片中的内容。通过识别的内容来判断是否需要进行后续操作。
看到大佬用pyautogui获取屏幕内容发送给chatgpt,chatgpt会根据识别的内容自己玩游戏,简直6翻了。