weixin_43014359的博客

当大语言模型小于4G的时候,或者等于4G大小的时候,llamafile还有一种更简单的方式来运行,更适合小白,特别是一些设备配置不高的情况下,我们也可以很简单的运行一个模型

llamafile 是一种AI大模型部署（或者说运行）的方案， 与其他方案相比，llamafile的独特之处在于它可以将模型和运行环境打包成一个独立的可执行文件，从而简化了部署流程。用户只需下载并执行该文件，无需安装运行环境或依赖库，这大大提高了使用大型语言模型的便捷性。这种创新方案有助于降低使用门槛，且一个文件能同时支持 macOS, Windows, Linux, FreeBSD, OpenBSD, 和 NetBSD系统，使更多人能够轻松部署和使用大型语言模型。

随着信息技术的飞速发展和国产化软件的不断崛起，越来越多的用户开始倾向于使用国产化软件以满足日常工作和学习的需求。其中，笔记类软件作为知识管理和创作的重要工具，受到了广大用户的青睐。而在这些软件中，思源笔记以其强大的编辑功能、灵活的整理方式以及丰富的插件支持，成为了众多用户的首选。然而，在写作过程中，灵感和创意的激发往往离不开大语言模型的辅助。大语言模型能够基于海量的文本数据生成高质量的内容，为用户提供有价值的参考和启发。

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统,支持开箱即用,当MaxKB接入本地大语言模型的时候,限制只能使用域名才能接入,无法使用本地或者局域网IP进行设置添加本地大语言模型,本文介绍结合cpolar内网穿透工具,实现MaxKB 成功导入本地的大语言模型!。它能够将内网下的本地服务器通过安全隧道暴露至公网，使得公网用户可以正常访问内网服务。

Fooocus是一款免费开源的AI绘画工具，它基于SDXL模型在SD webui的基础上进行了改进，提供了一系列强大功能，并提供直观易懂的界面。它可以离线、开源、免费使用，无需手动调整参数等等，一键下载安装，用户只需关注prompts和images.下面介绍在windows 部署,简单几步即可完成!

Stable Diffusion是一个人工智能绘画工具，可以根据任何领域的文本输入生成高质量、高分辨率且逼真的图像。它是一个超级流行的本地化部署的工程，可以帮助你画出想要的图片。它利用机器学习和深度学习技术来生成艺术作品的一种创造性应用,下面介绍如何在windows 本地部署stable diffusion在开始之前,您的设备网络需要具备可以访问Github的能力,全程需要代理上网哦,否则将不能安装成功!

探索泰拉瑞亚的乐趣从未止步于本地游玩。在这个充满奇幻和探险的世界里，与朋友一同冒险、建造、战斗，一直是许多玩家心中的梦想。然而，对于那些分隔千里的好友或者想要与家人一同探索的玩家来说，这一梦想似乎总是与现实产生着遥不可及的距离。然而，随着技术的发展和工具的普及，我们终于有了一个突破的机会。泰拉瑞亚本地私服结合 Cpolar 内网穿透工具,无需公网IP,无需云服务器，我们可以轻松实现远程联机，将游戏的乐趣无限延伸至世界的每一个角落。

随着ChatGPT 和open Sora 的热度剧增,大语言模型时代,开启了AI新篇章,大语言模型的应用非常广泛，包括聊天机器人、智能客服、自动翻译、写作助手等。它们可以根据用户输入的文本生成相应的响应，提供个性化的建议和服务,目前大部分大语言模型的产品都是基于网络线上的,如果我们本地想自己部署一个自己的大语言模型,该如何操作呢,下面介绍一款可以在自己本地部署运行的大语言模型Llama 2。

RStudio Server 使你能够在 Linux 服务器上运行你所熟悉和喜爱的 RStudio IDE，并通过 Web 浏览器进行访问，从而将 RStudio IDE 的强大功能和工作效率带到基于服务器的集中式环境中。下面介绍在Linux docker中安装RStudio Server并结合cpolar内网穿透工具,实现远程访问,docker方式安装可以避免很多问题,一键安装,如设备没有安装docker,需提前安装docker。

streamlit是比较热门的Web应用程序框架，基于Python，优势是只要几行代码就可以创建一个交互式、可视化的web仪表板。通过接入OpenAI的API，快速搭建基于ChatGPT聊天页面，实现对话的方式进行交互,将streamlit和cpolar搭配使用，就可以快速搭建一个能够远程访问的ChatGPT聊天页面,下面通过windows环境简单部署一个接入OpenAI的API的聊天界面,并结合cpolar实现远程访问。

Ganache 是DApp的测试网络，提供图形化界面，log日志等；智能合约部署时需要连接测试网络。Ganache 是一个运行在本地测试的网络,通过结合cpolar内网穿透软件,即可比较简单实现远程或者不同局域网进行连接访问,下面简单概括设置和连接方法。

LocalGPT这个项目最大的亮点在于：1.使用LLM的力量，无需互联网连接，就可以向你的文档提问。100%私密，任何数据都不会离开你的执行环境。你可以摄取文档并提问，无需互联网连接！2.使用LangChain和Vicuna-7B以及InstructorEmbeddings构建。可以借助LangChain构建更高级能力的pipeline。

Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面，不仅可以提高使用效率，还可满足私有化部署，或对模型进行自定义。