python虚拟键盘_使用Python模拟鼠标(键盘)操作

昨天在帮师兄做脑核磁共振图像的颅骨去除，使用的是一个桌面软件，需要输入所需要的文件，然后软件自动进行分割，手动做的话每例大概需要三四分钟，共两百多例，这样效率太低了，且实在是很不优雅。于是决定用python写一个脚本来自动模拟鼠标操作，使用的是pyautogui库，特此记录以便参考。

首先进入base环境安装pyautogui库：

activate base

conda install -c jim-hart pyautogui

因为需要输入的是4个nii文件，所以首先删除不需要的文件，保证文件夹内的文件数量

：

src_dir = r"F:\0"

need_file = ['t1c.nii', 't2.nii', 't1.nii', 'flair.nii']

for dir in os.listdir(src_dir):

dst_dir = os.path.join(src_dir, dir)

for file in os.listdir(dst_dir):

if (file not in need_file):

os.remove(os.path.join(dst_dir, file))

然后判断需要的4个文件是否都存在，去除不满足条件的病例。

src_dir = r"F:\0"

need_file = ['t1c.nii', 't2.nii', 't1.nii', 'flair.nii']

for dir in os.listdir(src_dir):

dst_dir = os.path.join(src_dir, dir)

filenum = len([lists for lists in os.listdir(dst_dir)

if os.path.isfile(os.path.join(dst_dir, lists))])

if (filenum != 4):

print(dst_dir)

使用脚本控制鼠标太快了，可能会导致应用出问题，为了减缓鼠标点击速度，pyautogui提供了中断措施，为所有的pyatutogui函数增加延迟，默认的延迟是0.1s，这里做如下调整：

pyautogui.PAUSE = 0.6

接着确定各个按钮的坐标，坐标的位置可以用以下代码确定：

x, y = pyautogui.position()

print(x, y)

这里用到的鼠标操作主要是移动、单击、双击和多次点击：

pag.moveTo(x,y)

pyautogui.click()

pyautogui.doubleClick()

pyautogui.click(clicks=10, interval=0.25)

本来是有用到滚轮操作的，但是不知道什么原因，在代码中失效，也就放弃了这个操作，用多次点击代替。pyautogui这个库还是很强大的，也支持键盘操作，只不过这里不需要键盘操作也就没有用到。

比较简单地介绍了使用python模拟鼠标（键盘）操作，以下是具体的源码：

import pyautogui as pag

import os

import time

screenWidth, screenHeight = pag.size()

assert screenWidth == 1920

assert screenHeight == 1080

x, y = pag.position()

print(x, y)

pag.moveTo(700, 700)

pag.PAUSE = 0.6

pag.moveTo(folder_rightx, folder_righty)

# pag.click(clicks=1, interval=0.25)

loadx, loady = 18, 32

patientx, patienty = 71, 56

outputx, outputy = 1247, 666

Fdiskx, Fdisky = 724, 425

folderx, foldery = 695, 443

folder_rightx, folder_righty = 981, 359

t1_extrax, t1_extray = 712, 441

t1x, t1y = 956, 380

t1cx, t1cy = 956, 380+17

t2x, t2y = 956, 380+35

flairx, flariy = 956, 380-17

load2x, load2y = 700, 700

performx, performy = 121, 404

next1x, next1y = 900, 724

next2x, next2y = 1207, 742

# set T1 as baseline

blx, bly = 1230, 444

for i in range(0, 1):

print("current No: %d" % i)

try:

# open add patient

pag.moveTo(loadx, loady)

pag.click()

pag.moveTo(patientx, patienty)

pag.click()

# open output folder

pag.moveTo(outputx, outputy)

pag.click()

pag.moveTo(Fdiskx, Fdisky)

pag.doubleClick()

pag.moveTo(folderx, foldery)

pag.doubleClick()

if i == 0:

pag.moveTo(folder_rightx, folder_righty)

else:

pag.moveTo(next2x, next2y)

pag.click(clicks=i, interval=0.25)

pag.moveTo(folder_rightx, folder_righty)

pag.doubleClick()

# set T1 path

pag.moveTo(blx, bly)

pag.click()

if i == 0:

pag.moveTo(t1_extrax, t1_extray)

else:

pag.moveTo(next1x, next1y)

pag.click(clicks=i, interval=0.25)

pag.moveTo(t1_extrax, t1_extray)

pag.doubleClick()

pag.moveTo(t1x, t1y)

pag.doubleClick()

# set T1c path

pag.moveTo(blx, bly+38*1)

pag.click()

pag.moveTo(t1cx, t1cy)

pag.doubleClick()

# set t2 path

pag.moveTo(blx, bly+38*2)

pag.click()

pag.moveTo(t2x, t2y)

pag.doubleClick()

# set Flair path

pag.moveTo(blx, bly+38*3)

pag.click()

pag.moveTo(flairx, flariy)

pag.doubleClick()

# set Template (same as T1c)

pag.moveTo(blx, bly+38*4)

pag.click()

pag.moveTo(t1cx, t1cy)

pag.doubleClick()

# load

pag.moveTo(load2x, load2y)

pag.click()

time.sleep(3)

# perform

pag.moveTo(performx, performy)

pag.click()

# performing

#time.sleep(60)

except:

print("No.%d is Error" % i)

# 删除不需要的文件，保证文件夹内文件数量小于等于4

src_dir = r"F:\0"

need_file = ['t1c.nii', 't2.nii', 't1.nii', 'flair.nii']

for dir in os.listdir(src_dir):

dst_dir = os.path.join(src_dir, dir)

for file in os.listdir(dst_dir):

if (file not in need_file):

os.remove(os.path.join(dst_dir, file))

# 判断需要的四个文件是否都存在

src_dir = r"F:\0"

need_file = ['t1c.nii', 't2.nii', 't1.nii', 'flair.nii']

for dir in os.listdir(src_dir):

dst_dir = os.path.join(src_dir, dir)

filenum = len([lists for lists in os.listdir(dst_dir)

if os.path.isfile(os.path.join(dst_dir, lists))])

if (filenum != 4):

print(dst_dir)