Chrome浏览器使用WebGpu运行NLP大语言文本生成模型

目前Chrome浏览器已经发布了113版本,在这个版本中最重要的更新就是对WebGPU

的支持,相比于WebGL而言WebGpu对GPU密集型任务处理性能提高了几倍,目前无论是深度学习自然语言处理,目标检测,语义分割,还是计算机图形学,渲染服务,3D可视化展示均是GPU密集型任务.

目前有很多webgl的JS的库已经支持webgpu了,比如Babylon.js,PlayCanvas,TensorFlow.js,Three.js

以前webgpu只在chrome金丝雀版本才可以运行,但是现在chrome113版本已经出了,我来教你怎么使用webgpu在chrome浏览器端运行一个大语言模型

1.更新chrome到113版本,点击右上角三个点,点击设置,点击关于chrome,更新至113版本以上

2.地址栏输入chrome://flags/#enable-webgpu-developer-features,选择enable,这时你的chrome已经开启了webgpu了!

3.进行测试,这里使用的是github一个项目

web-llm

此项目是在chrome端运行大的文本生成模型的,进入其实验网址WebLLM | Home

等待模型加载完毕,就可以与其对话了,但是速度有点慢,与chatgpt不能比,但是因为不经过服务器,保证了用户隐私,并且为以后训练自己的模型提供了支持

参考文献:

https://developer.chrome.com/blog/webgpu-io2023/

https://developer.chrome.com/blog/new-in-webgpu-113/

https://developer.chrome.com/blog/webgpu-release/

GitHub - mlc-ai/web-llm: Bringing large-language models and chat to web browsers. Everything runs inside the browser with no server support.