初学JAVA时做过一个远程桌面的功能，但是性能比较差，经过多年摸鱼，经验慢慢丰富，但也懒得改动之前学习用的代码了。
碰巧前阵有个同学做毕业论文时问起我有没有这个程序，但我当初的代码早没了，想着网上搬个文章给他对付一下吧，搜了半天，结果实在找不到合适的。凭借记忆把当年的程序完成，据说00后开发都用java17，我就用这个做新手教程吧。
1.0：开发环境准备（有2台在局域网或外网(前提可以映射端口)的电脑更好）
系统：windows 64位 (推荐windows 10 X64 20H2)
内存：4G或以上
CPU：双核或以上
显卡：GT1030或以上级别
显示器分辨率：1080P或以上，系统画面缩放最好调整为100%
文章内所有官方无法下载或下载困难的资源合集（永久有效）：
https://pan.baidu.com/s/1os7ZIqvewosnooeWHRSpYQ
https://pan.baidu.com/s/1os7ZIqvewosnooeWHRSpYQ
提取码：8888
1.1：下载openJDK17(会的同学跳过)
JDK 17.0.1 GA Release
下载后解压到合适的目录，我选择的是D:\jdk-17.0.1，然后加上环境变量
1.2：下载openJFX17(会的同学跳过)
JavaFX - Gluonhttps://gluonhq.com/products/javafx/
下载后解压到合适的目录，我选择的是D:\javafx-sdk-17.0.1
1.3：下载maven(会的同学跳过)
Maven – Download Apache Mavenhttps://maven.apache.org/download.cgi
下载后解压到合适的位置，我选择的是D:\Program Files\apache-maven-3.8.4，打开根目录中的conf文件夹，找到setting.xml，编辑它
<localRepository>D:/repo</localRepository>我把本地仓库设置为D盘的repo文件夹
<mirror>
<id>aliyun-maven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>用阿里的仓库
1.4：下载Eclipse 2021-12(会的同学跳过)
下载速度慢的同学可以用这个镜像，速度不错，解压到合适位置，我选择的是D:\Program Files\eclipse
解压好后先不急打开eclipse，先打开eclipse目录，找到eclipse.ini文件，编辑它(允许eclipse访问jdk中的类)
--add-modules=ALL-SYSTEM
--add-exports=java.base/sun.nio.ch=ALL-UNNAMED
--add-opens=java.base/java.lang=ALL-UNNAMED
--add-opens=java.base/java.lang.reflect=ALL-UNNAMED
--add-opens=java.base/java.io=ALL-UNNAMED
--add-exports=jdk.unsupported/sun.misc=ALL-UNNAMED1.5：下载lombok插件(会的同学跳过)
Downloadhttps://projectlombok.org/download
直接下载，我把它放到了D盘根目录，然后运行cmd
选择你解压的eclipse路径，点击安装就可以了
1.6：打开eclipse，修改配置，增加efxclipse插件(可选)
打开首选项，修改好字符集
配置maven，就可以了
https://download.eclipse.org/efxclipse/updates-released/3.7.0/site/
不停的下一步直到安装完成就可以了(可选)
1.7：下载springboot-javafx-support 2.1.8插件
这是个好东西，好像是一个叫Felix Roske的大佬写的(具体我也不知道)，可惜多年没更新，目前官方最新版是2.1.7(未发版，发版的是2.1.6)，只支持JDK1.8。我找到源码重新用JAVA17编译后，分析问题，魔改了下(后面我会说具体改了哪几个地方)，就能用了。
百度网盘 请输入提取码https://pan.baidu.com/s/1os7ZIqvewosnooeWHRSpYQ提取码：8888
下载后复制到maven根目录的bin文件夹下，以管理员运行cmd，添加到本地maven仓库
mvn install:install-file -Dfile=springboot-javafx-support-2.1.8.jar -DgroupId=de.roskenet -DartifactId=springboot-javafx-support -Dversion=2.1.8 -Dpackaging=jar1.8：下载javafx scene builder(可选)
JavaFX Scene Builder 1.x Archivehttps://www.oracle.com/java/technologies/javafxscenebuilder-1x-archive-downloads.html
这是个可选的UI拖拽控件。
1.9：下载openCV4.5.5(我这边只提供需要的dll和jar，需要完整版的可以在官网下载)
https://pan.baidu.com/s/1os7ZIqvewosnooeWHRSpYQhttps://pan.baidu.com/s/1os7ZIqvewosnooeWHRSpYQ
提取码：8888
下载后复制opencv-4.5.5.jar到maven根目录的bin文件夹下，以管理员运行cmd，添加到本地maven仓库(这边就不截图了，参考上面的图)
mvn install:install-file -Dfile=opencv-4.5.5.jar -DgroupId=org.opencv -DartifactId=opencv -Dversion=4.5.5 -Dpackaging=jar将opencv_java455.dll复制到jdk根目录的bin文件夹下
1.10：下载工程源码
https://pan.baidu.com/s/1os7ZIqvewosnooeWHRSpYQhttps://pan.baidu.com/s/1os7ZIqvewosnooeWHRSpYQ
提取码：8888
下载好后，把文件夹解压到eclipse的工作空间
如果项目出现红色感叹号，按如下方式操作：
按照此法导入(一个服务端，一个客户端)，至此所有需要下载的东西都下完了。
2.0：在本地运行
i) 打包服务端、客户端
clean install
把打包后的文件复制到合适的地方，我把它放到了D:\remote
客户端也按照上面的方法打包，然后复制到同一个目录
ii) 生成JRE17、javaFX17运行环境
以管理员身份运行cmd，输入如下命令：
jlink --output jre17 --add-modules java.base,java.logging,java.desktop,java.management,java.naming,java.security.jgss,java.instrument,java.scripting,jdk.unsupported
会发现D:\remote下生成了指定模块的JRE
把opencv_java455.dll复制到jre17根目录的bin目录下
把javafx-sdk-17.0.1文件夹也复制进来
进入javafx-sdk-17.0.1的bin目录中，把jfxwebkit.dll文件删除，没用到这个包，太占地方了
iii) 编写启动脚本
新建一个run_server.bat的文件，编辑它，输入如下内容，保存
jre17\bin\java.exe -jar --add-opens java.base/java.lang=ALL-UNNAMED --add-opens java.desktop/java.awt=ALL-UNNAMED --add-opens java.desktop/sun.awt.windows=ALL-UNNAMED -Djava.awt.headless=false RemoteServer-0.0.1-SNAPSHOT.jar再新建一个run_client.bat的文件，编辑它，输入如下内容，保存
jre17\bin\java.exe -jar --module-path="javafx-sdk-17.0.1\lib" --add-modules=javafx.base,javafx.fxml,javafx.controls,javafx.graphics -Djava.awt.headless=false RemoteClient-0.0.1-SNAPSHOT.jar双击run_server.bat，启动服务端，看到如下界面，说明启动成功
把快速编辑模式关闭，防止界面输出时阻塞程序
双击run_client.bat，启动客户端，同样的办法，关闭快速编辑模式，你也可以右键时直接设置默认值，默认开启cmd时关闭快速编辑模式(很重要)
点左上角的开启，剩下的就不说了
因为我客户端和服务端使用了不同的电脑，所以画面是正常的，你们服务端和客户端在一台电脑运行时，看到的画面应该是这样的：
注意：任务栏上有客户端右键退出按钮，直接关闭窗口默认隐藏到任务栏
2.1 在局域网的2台电脑(一台被控、一台控制)运行
找到服务端启动类，点击运行配置
复制如下启动参数(让程序启动时能够访问jdk的类，也可以把这部分直接配置在eclipse目录中的eclipse.ini文件中)
--add-opens java.base/java.lang=ALL-UNNAMED --add-opens java.desktop/java.awt=ALL-UNNAMED --add-opens java.desktop/sun.awt.windows=ALL-UNNAMED -Djava.awt.headless=false 同理，找到客户端的启动类，复制如下参数(添加javaFX 运行时需要的模块)
--module-path="D:\javafx-sdk-17.0.1\lib" --add-modules=javafx.base,javafx.fxml,javafx.controls,javafx.graphics -Djava.awt.headless=false注意：这里的--module-path，我配置的javaFX sdk是在D盘根目录，具体根据自己的实际情况调整。
修改服务端的端口，默认是8080，也可以自己自定义。如果修改了，就按照之前的方式重新打包，替换原来的RemoteServer-0.0.1-SNAPSHOT.jar文件
修改服务端的内网IP和端口。修改后，就按照之前的方式重新打包，替换原来的RemoteClient-0.0.1-SNAPSHOT.jar文件
修改好重新打包，替换完成以后的目录。现在服务端和客户端都依赖同一个环境运行，我们需要进行分离（其中jre17是服务端和客户端都需要的，javafx-sdk-17.0.1只有客户端需要）
创建2个文件夹remote_server和remote_client
按照如下方式把文件剪切、复制过去
现在服务端和客户端运行环境就分开了
把服务端进行简单打包(至于封装成安装包，不属于本文重点，就不讲了)，服务端打包后只有43MB，并不大，把它复制到被控电脑（因为已经包含jre了，不需要安装jdk和其他环境），解压到任意目录，运行其中的run_server.bat
然后运行控制端的客户端run_client.bat，就可以了
2.3 在外网的2台电脑(一台被控、一台控制)上运行（懂的可以尝试）
首先被控电脑的端口需要映射到外网端口，然后配置跟局域网中的方法一样，客户端连接的IP需要换成外网IP和映射的外网端口即可（也可以在路由器开启DMZ主机(有安全隐患)，并且路由WAN口地址属于三大运营商的外网IP，如果分配的是运营商虚拟内网IP，电信可以打客服电话要求修改，其他运营商据我所知不行）。
注意：外网控制需要配置好权限管理，推荐使用JWT。代码不修改直接在外网运行，没有任何安全保障。
3.0 服务端关键代码简单介绍
3.0.1 获取屏幕图像(根据不同的屏幕分辨率和电脑性能，效率在20-40ms之间)
Field peerf = robot.getClass().getDeclaredField("peer");//获取robot的peerf对象
peerf.setAccessible(true);
peer = peerf.get(robot);
getPixelsMtehod = peer.getClass().getDeclaredMethod("getRGBPixels", Rectangle.class);//得到这个获取像素数组的方法
getPixelsMtehod.setAccessible(true);
pixels = (int[]) getPixelsMtehod.invoke(peer, rect);//获取像素数组为啥要这样？ 你不会直接调用Robot类的createScreenCapture方法获取图片吧?让我们看下源码，源码的操作很秀，简单来说是先获取像素数组，再把他转成图片，但是我这里其实只需要获取像素数组，再转成png二进制的数据就可以了，你给我转图片来回倒腾，性能直接爆炸。源码如下：(用这个方法来回倒腾，性能最少浪费100ms以上，并且CPU占用率也会报警)，我其实只需要源码中的pixels = peer.getRGBPixels(screenRect);这一行代码就够了。
问：为啥不用DXGI，效率比JAVA源码这个还要高啊（DXGI效率大约在3-8ms）
答：我在资料夹中提供了DXGI的JAVA调用封装，并且放了一个简单的word文档，感兴趣自己看，需要win8以上电脑才能用。
https://pan.baidu.com/s/1os7ZIqvewosnooeWHRSpYQhttps://pan.baidu.com/s/1os7ZIqvewosnooeWHRSpYQ
提取码：8888
看看源码都干了什么：
private synchronized BufferedImage[]
createCompatibleImage(Rectangle screenRect, boolean isHiDPI) {
checkScreenCaptureAllowed();
checkValidRect(screenRect);
BufferedImage lowResolutionImage;
BufferedImage highResolutionImage;
DataBufferInt buffer;
WritableRaster raster;
BufferedImage[] imageArray;
if (screenCapCM == null) {
/*
* Fix for 4285201
* Create a DirectColorModel equivalent to the default RGB ColorModel,
* except with no Alpha component.
*/
screenCapCM = new DirectColorModel(24,
/* red mask */ 0x00FF0000,
/* green mask */ 0x0000FF00,
/* blue mask */ 0x000000FF);
}
int[] bandmasks = new int[3];
bandmasks[0] = screenCapCM.getRedMask();
bandmasks[1] = screenCapCM.getGreenMask();
bandmasks[2] = screenCapCM.getBlueMask();
// need to sync the toolkit prior to grabbing the pixels since in some
// cases rendering to the screen may be delayed
Toolkit.getDefaultToolkit().sync();
GraphicsConfiguration gc = GraphicsEnvironment
.getLocalGraphicsEnvironment()
.getDefaultScreenDevice().
getDefaultConfiguration();
gc = SunGraphicsEnvironment.getGraphicsConfigurationAtPoint(
gc, screenRect.getCenterX(), screenRect.getCenterY());
AffineTransform tx = gc.getDefaultTransform();
double uiScaleX = tx.getScaleX();
double uiScaleY = tx.getScaleY();
int[] pixels;
if (uiScaleX == 1 && uiScaleY == 1) {
pixels = peer.getRGBPixels(screenRect);
buffer = new DataBufferInt(pixels, pixels.length);
bandmasks[0] = screenCapCM.getRedMask();
bandmasks[1] = screenCapCM.getGreenMask();
bandmasks[2] = screenCapCM.getBlueMask();
raster = Raster.createPackedRaster(buffer, screenRect.width,
screenRect.height, screenRect.width, bandmasks, null);
SunWritableRaster.makeTrackable(buffer);
highResolutionImage = new BufferedImage(screenCapCM, raster,
false, null);
imageArray = new BufferedImage[1];
imageArray[0] = highResolutionImage;
} else {
Rectangle scaledRect;
if (peer.useAbsoluteCoordinates()) {
scaledRect = toDeviceSpaceAbs(gc, screenRect.x,
screenRect.y, screenRect.width, screenRect.height);
} else {
scaledRect = toDeviceSpace(gc, screenRect.x,
screenRect.y, screenRect.width, screenRect.height);
}
// HighResolutionImage
pixels = peer.getRGBPixels(scaledRect);
buffer = new DataBufferInt(pixels, pixels.length);
raster = Raster.createPackedRaster(buffer, scaledRect.width,
scaledRect.height, scaledRect.width, bandmasks, null);
SunWritableRaster.makeTrackable(buffer);
highResolutionImage = new BufferedImage(screenCapCM, raster,
false, null);
// LowResolutionImage
lowResolutionImage = new BufferedImage(screenRect.width,
screenRect.height, highResolutionImage.getType());
Graphics2D g = lowResolutionImage.createGraphics();
g.setRenderingHint(RenderingHints.KEY_INTERPOLATION,
RenderingHints.VALUE_INTERPOLATION_BILINEAR);
g.setRenderingHint(RenderingHints.KEY_RENDERING,
RenderingHints.VALUE_RENDER_QUALITY);
g.setRenderingHint(RenderingHints.KEY_ANTIALIASING,
RenderingHints.VALUE_ANTIALIAS_ON);
g.drawImage(highResolutionImage, 0, 0,
screenRect.width, screenRect.height,
0, 0, scaledRect.width, scaledRect.height, null);
g.dispose();
if(!isHiDPI) {
imageArray = new BufferedImage[1];
imageArray[0] = lowResolutionImage;
} else {
imageArray = new BufferedImage[2];
imageArray[0] = lowResolutionImage;
imageArray[1] = highResolutionImage;
}
}
return imageArray;
}获取到了像素数组后，需要转为二进制数据，下面是高效率的方法(2-5ms)：
private byte[] intToByte(int[] pixels) {
if (pixels == null)
return null;
ByteBuffer byteBuffer = ByteBuffer.allocate(pixels.length * 4);
byteBuffer.order(ByteOrder.LITTLE_ENDIAN);
IntBuffer intBuffer = byteBuffer.asIntBuffer();
intBuffer.put(pixels);
return byteBuffer.array();
}将二进制的bmp格式图片数据转为png格式二进制数据，下面是通过openCV进行的高效率转换方法(20-35ms)：
private byte[] imgPixelByteToPng(byte[] data) {
Mat screen = new Mat(rect.height, rect.width, CvType.CV_8UC4);
screen.put(0, 0, data);
MatOfByte mb = new MatOfByte();
Imgcodecs.imencode(".png", screen, mb);
return mb.toArray();
}帧间压缩(这和真正的帧间压缩差了十万八千里，我也想不到别的名称，姑且这么叫吧)——直接把2个图片的二进制数据进行比较，把不变的标记为-127，如果本身这个像素位置就是-127，那就改为-126(肉眼看不出来)，每次只需要传输变化的图片(5-15ms)，不需要每次都传原图。调用openCV，使用png压缩后，每帧的体积很小
private byte[] compare(byte data1[], byte data2[]) {
byte[] data = new byte[data1.length];
for (int i = 0; i < data.length; i++) {
if (data2[i] == -127)
data[i] = -126;
else if (data1[i] == data2[i])
data[i] = -127;
else
data[i] = data2[i];
}
return data;
}3.1客户端关键代码简单介绍
把从服务端接收的二进制png格式数据转为二进制bmp格式数据(20-35ms)
private byte[] pngToPixelByte(byte[] zlib) {
Mat mat = Imgcodecs.imdecode(new MatOfByte(zlib), Imgcodecs.IMREAD_UNCHANGED);
byte[] d = new byte[sp.getHeight() * sp.getWidth() * 4];
mat.get(0, 0, d);
return d;
}帧还原(与上一帧比较，将改变的像素位置替换)(5-15ms)
private byte[] decode(byte src[], byte comp[]) throws Exception {
byte[] data = new byte[src.length];
for (int i = 0; i < data.length; i++) {
if (comp[i] == -127)
data[i] = src[i];
else
data[i] = comp[i];
}
return data;
}将二进制像素数据转为int[]型，下面是高效率的方法(2-5ms)：
private int[] byteToInt(byte[] data) {
if (data == null)
return null;
ByteBuffer byteBuffer = ByteBuffer.wrap(data);
byteBuffer.order(ByteOrder.LITTLE_ENDIAN);
int[] pixels = new int[data.length / 4];
byteBuffer.asIntBuffer().get(pixels);
return pixels;
}将像素数组设置到javaFX的页面元素,通过WritableImage对象获得PixelWriter，执行setPixels方法直接绘制像素，下面是高效率方法(1-2ms)
private void setView() throws Exception {
int[] pixels = byteToInt(data);
Platform.runLater(() -> {
pw.setPixels(0, 0, sp.getWidth(), sp.getHeight(), PixelFormat.getIntArgbPreInstance(), pixels, 0,
sp.getWidth());
});
}3.2 多线程优化
客户端接收到服务端数据后，需要解码一段时间，这时候不能让服务端干等着，解码需要运行于单独的线程，效率比较高
配置一下线程池
@Bean
@Override
public Executor getAsyncExecutor() {
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
executor.setCorePoolSize(1);
executor.setMaxPoolSize(1);
executor.setQueueCapacity(1000);
executor.initialize();
return executor;
}
@Override
public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
return null;
}把数据计算这块单独放一个线程
@Override
public void fill(ViewThread thread, byte[] zlib, boolean isFirst) {
try {
if (isFirst) {
thread.setData(thread.pngToPixelByte(zlib));
} else {
byte[] mod = thread.pngToPixelByte(zlib);
thread.setData(thread.decode(thread.getData(), mod));
}
thread.setView();
} catch (Exception e) {
e.printStackTrace();
}
}控制线程队列数量，保证画面实时性
while (((ThreadPoolTaskExecutor) executor).getThreadPoolExecutor().getQueue().size() >= 1) {
sleep(5);
}
fillService.fill(this, zlib, false);3.3 springboot-javafx-support 插件代码修改部分
主要动了这个类：AbstractJavaFxApplicationSupport，修改了springboot初始化顺序，原来是先初始化javaFX应用程序，再初始化springboot启动，调整为相反顺序。
添加一个spirng上下文
protected static ConfigurableApplicationContext cac;springboot启动后，将这个对象赋值给AbstractJavaFxApplicationSupport
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
cac = SpringApplication.run(RemoteClientApplication.class, args);
launch(RemoteClientApplication.class, LoginView.class, args);修改javaFX初始化方法
@Override
public void init() throws Exception {
// Load in JavaFx Thread and reused by Completable Future, but should no be a
// big deal.
defaultIcons.addAll(loadDefaultIcons());
CompletableFuture.supplyAsync(() -> null).whenComplete((ctx, throwable) -> {
Platform.runLater(() -> {
loadIcons(cac);
launchApplicationView(cac);
});
}).thenAcceptBothAsync(splashIsShowing, (ctx, closeSplash) -> {
loadData();
Platform.runLater(closeSplash);
});
}展示欢迎屏幕时增加一个加载抽象方法
public abstract void loadData();整个客户端启动类代码修改后变为，这样改造，用到JAVA20应该都没问题
@SpringBootApplication(scanBasePackages = { "com.toten" })
public class RemoteClientApplication extends AbstractJavaFxApplicationSupport {
public static void main(String[] args) {
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
cac = SpringApplication.run(RemoteClientApplication.class, args);
launch(RemoteClientApplication.class, LoginView.class, args);
}
@Override
public void loadData() {
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
@Override
public void start(Stage stage) throws Exception {
StageUtil.STAGE = stage;
stage.setResizable(false);
super.start(stage);
}
}有几个同学给我发微信说不会用DXGI插件，囧囧囧，好吧，我打包了一个DXGI获取屏幕的版本，测试下来可将CPU占用降低到10%以下，服务端编码效率提升45%。提升不错，就是本来几乎原汁原味的JAVA已经慢慢变味了(下一步不会让我搞rtmp流吧，😅)
老地方自己下载：
通过指针获取屏幕像素数组，其他地方不变，DXGI的C++代码就不介绍了：
@Override
public byte[] getScreen(boolean isFirst) {
if (isFirst)
tempData = null;
if (!isInit) {
dxgi.init();
dataSize = rect.width * rect.height * 4;
imagePointer = new Memory(dataSize);
isInit = true;
}
dxgi.getImg(imagePointer);
byte[] data = imagePointer.getByteArray(0, dataSize);
byte[] compData = data;
if (tempData != null)
compData = compare(tempData, data);
tempData = data;
byte[] res = imgPixelByteToPng(compData);
return res;
}
694
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
