自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

freewebsys的专栏

互联网技术研究GWT,ICE,Golang,Hadoop,Solr,等

  • 博客(1028)
  • 资源 (8)
  • 收藏
  • 关注

原创 cctv 还是有很多资源可以看的,不用在优酷上面搜索

cctv的《海峡两岸》大陆和台湾两边一起讨论台湾的问题,希望祖国早日统一。 中央电视台惟一的涉台时事新闻评论栏目,节目宗旨是“跟踪海峡热点,反映两岸民意”。节目分为两个版块:第一个是“热点扫描”,主要报道当日和近期台湾岛内的热点新闻;第二个是“热点透视”,当日或近期涉台热点深度报道及两岸专家对此事的评论,并对两岸各个层面的交流交往进行跟踪报道。http://tv.cctv.com/l...

2018-01-16 17:55:48 2330

原创 本站各种文章汇总

今后的时间讲精力放到 golang ,docker ,kubernetes 上面。 以后云计算是方向。博客等级等级 所需积分 V1 0 V2 100 V3 500 V4 1000 V5 2000 V6 5000 V7 10000 V8 30000 V9 50000 V10 100000 V11 200000 V12 300000 V1...

2017-04-06 20:40:48 1790

原创 【xinference】(15):在compshare上,使用docker-compose运行xinference和chatgpt-web项目,配置成功!!!

【代码】【xinference】(15):在compshare上,使用docker-compose运行xinference和chatgpt-web项目,配置成功!!!

2024-07-06 23:54:17 376

原创 【xinference】(14):在compshare上,安装nvidia-docker工具,成功启动推理框架xinference-gpu的docker镜像,并运行大模型,非常简单方便!

Compshare GPU算力平台隶属于UCloud,专注于提供高性价4090算力资源,配备独立IP,支持按时、按天、按月灵活计费,支持github、huggingface访问加速。【xinference】(14):在compshare上,使用nvidia-docker方式,成功启动推理框架xinference,并运行大模型,非常简单方便。然后就可以通过界面启动模型了,支持大语言模型,embedding模型,rerank等。UCloud(优刻得)是中国知名的中立云计算服务商,科创板上市,中国云计算第一股。

2024-07-06 22:06:16 498

原创 【linux】使用vnc连接远程桌面,需要安装tigervnc,并在服务端期待,然后在客户端使用tigervnc-viewer进行连接即可

【代码】【linux】使用vnc连接远程桌面,需要安装tigervnc,并在服务端期待,然后在客户端使用tigervnc-viewer进行连接即可。

2024-06-27 22:22:05 293

原创 【compshare】(5):使用UCloud(优刻得)的compshare算力平台,运行stable-diffusion-3-medium-comfyui镜像,可以进行文生图,使用简便,开箱即用

运行stable-diffusion-3-medium-comfyui镜像。通过浏览器访问: http://xxx.xx.xxx.xx:8188。已经有了最新的stable-diffusion-3镜像。镜像和模型都打包在里面了,直接开箱就用。还可以导入导出自己的配置。搜索各种提示词文案。用完记得关闭服务呢!

2024-06-27 09:08:36 471

原创 【arduino】官方有了arduino plc 1.0.6版本的软件,只支持windows 版本的,也有 arduino plc 的硬件可以购买了,比较贵168元

一个是带显示屏的但是针脚少点。另外一个不带显示屏。但是带LED灯的。针脚多点。可以研究下。

2024-06-26 08:51:54 232

原创 【arduino】使用最新版本的软件2.3版本,安装设备驱动,成功上传设备到ESP32中,使用超便宜的主板16元的arduino就可以进行开发

安装中,一个是arduino nano esp32 ,另外一个才是 esp32 的小板子。如果遇到失败的情况多实验几次就行了。点亮LED灯 pin 是2。

2024-06-26 08:09:13 280

原创 【LocalAI】(13):LocalAI最新版本支持Stable diffusion 3,20亿参数图像更加细腻了,可以继续研究下

SD3 Medium 可以根据用户输入的文本描述,重点克服了文生图模型中手部和脸部的挑战,生成足以乱真的的图像。SD3 Medium 还利用其底层的 Diffusion Transformer 架构,高精度地整合了文字元素。根据介绍,Stable Diffusion 3 Medium 模型规格参数达到了 20 亿,可以给用户带来更真实的图片体验。目前用户可以从 Hugging Face 上下载该模型。Stable Diffusion 3 Medium 正式开源。

2024-06-23 22:41:03 430

原创 【xinference】(12):目前最全大模型推理框架xinference,发布0.12.2版本,支持qwen2,glm4等主流大模型推理运行,可以对外提供标准的openai的API接口做服务

可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。进行推理,降低延迟,提高吞吐!🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。支持分布式部署,通过内置的资源调度器,让不同大小的模型按需调度到不同机器,充分使用集群资源。前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2。

2024-06-23 22:22:12 676

原创 【xinference】(11):在compshare上使用4090D运行xinf和chatgpt-web,部署大模型GLM-4-9B大模型,占用显存18G,速度不错,也挺智能的。

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中,GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。本代模型增加了多语言支持,支持包括日语,韩语,德语在内的 26 种语言。【xinference】(11):在compshare上使用4090D运行xinf和chatgpt-web,部署大模型glm4-9B-chat大模型,显存18G。是python3.12 版本造成的。

2024-06-07 08:55:56 857

原创 【compshare】(4):使用UCloud(优刻得)的compshare算力平台,新增加Llama-factory镜像,可以快速启动,非常方便,部署特别简单,效果不错,不用担心HF网络问题

库少了几个,可以向 compshare 反馈下。可以选择中文,进行参数修改。安装完成缺少的 包之后,就可以启动成功了。

2024-06-05 22:28:11 213

原创 【compshare】(3):使用UCloud(优刻得)的compshare算力平台,新增加SD-webui和大模型镜像,可以快速启动,非常方便,部署特别简单...

新的镜像不错,简化了部署使用,更加的方便了。可以很快的搭建SD和大模型的平台了。

2024-06-05 09:40:25 388

原创 【OrangePi】(2):香橙派OrangePi AIpro设备,安装xinference框架,运行qwen1.5大模型,api接口测试,速度不错,设备也非常精致!

【OrangePi】(2):香橙派OrangePi AIpro设备,安装xinference框架,运行qwen1.5大模型。默认的官方镜像已经配置好了ssh服务,可以直接远程登陆即可。直接使用root进行登陆就行。

2024-05-31 07:31:57 453

原创 【xinference】(10):在autodl上运行xinf和chatgpt-web配置联动,xinf运行qwen-1.5大模型做api后端,使用国内源解决nodejs安装问题。本地运行大模型方法

【xinference】(10):在autodl上运行xinf和chatgpt-web配置联动,xinf运行qwen-1.5大模型做api后端。前端使用chatgpt-web,后端使用xinference 项目做api。第二个是 service ,里面有nodejs的服务接口。配置好环境变量就可以使用 npm 安装了。第一个是web 在当前目录。然后就可以启动成功了。

2024-05-31 07:20:39 333

原创 【本地运行chatgpt-web】启动前端项目和service服务端项目,也是使用nodejs进行开发的。两个都运行成功才可以使用!

安装依赖,启动web。

2024-05-29 22:15:58 646

原创 特别推荐!在modelscope上可以使用免费的CPU和限时的GPU啦,成功安装xinference框架,并部署qwen-1.5大模型,速度7 tokens/s

在modelscope上可以使用免费的CPU和限时的GPU啦,成功安装xinference框架,并部署qwen-1.5大模型,速度7 tokens/s空闲的时候,会被删除掉。数据不会被保存!单次最长10个小时使用!!

2024-05-29 09:02:15 462

原创 【compshare】(2):在compshare算力共享平台的主机上安装docker镜像和nvidia-docker方法,和普通ubuntu一样,安装好驱动之后安装nvidia-docker2即可

选择ubuntu 镜像和设置密码,可以设置随即。

2024-05-26 22:41:02 171

原创 【compshare】(1):推荐UCloud(优刻得)一个GPU按小时租的平台,使用实体机部署,可以方便快速的部署xinf推理框架并提供web展示,部署qwen大模型,特别方便

专注于提供高性价比算力资源,海量GPU,一键部署,即算即用,让AI训练、深度学习、科研计算效率翻倍。需要选择 ubuntu 版本,可以支持最高 12.4 的cuda驱动。测试qwen 大模型速度。因为运行的方式不一样,不使用了需要删除应用。但是界面启动后需要等待下驱动安装。模型之能运行一个,重启再运行即可。下载速度还是非常快的。否则还是会产生费用。是独享的模型创建的。

2024-05-26 20:40:08 572

原创 【LocalAI】(12):本地使用CPU运行LocalAI,测试研究,语音模型已经切换到了hugging faces上了,测试zh_CN-huayan-medium.onnx中文合成成功!!

【代码】【LocalAI】(12):本地使用CPU运行LocalAI,一次运行5个能力,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字模型,文字转语音(只支持英文)

2024-05-18 22:06:00 281

原创 【LocalAI】(11):本地使用CPU运行LocalAI,一次运行5个能力,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字模型,文字转语音(只支持英文)

【代码】【LocalAI】(11):本地使用CPU运行LocalAI,一次运行4个大模型,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字模型。

2024-05-18 16:57:49 437

原创 【OrangePi】(1):香橙派联合华为精心打造OrangePi AIpro(8T)的硬件,搭载昇腾AI芯片,8TOPS算力...

树莓派4,上面的ollama qwen 大模型测速,0.5b速度 9.6 words/s,1.8b速度 2.8 words/s。硬件还是不错的,也是arm的芯片。理论上可以支持 localai的代码运行。不知道 OrangePi AIpro(8T) 的性能咋样了。香橙派联合华为精心打造,建设人工智能新生态。ubuntu使用的是22.03 的镜像。

2024-05-07 23:26:33 310

原创 【LocalAI】(10):在autodl上编译embeddings.cpp项目,转换bge-base-zh-v1.5模型成ggml格式,本地运行main成功

LocalAI的项目里面的embedding 是 bert embedding.不支持BGE 模型,有大神给改造支持了BGE的模型了。

2024-05-01 13:27:47 417

原创 【LocalAI】(9):本地使用CPU运行LocalAI,一次运行4个大模型,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字模型

【LocalAI】(9):本地使用CPU运行LocalAI,一次运行4个大模型,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字模型。它允许您在本地使用消费级硬件运行 LLM(不仅如此),支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的,与 OpenAI API 规范兼容的 REST API。替换了镜像里面的aio 文件夹。把模型都使用国内镜像进行下载地址替换了。使用了modescope 下载地址。

2024-05-01 12:44:21 739

原创 【LocalAI】(6):在autodl上使用4090部署LocalAIGPU版本,成功运行qwen-1.5-32b大模型,占用显存18G,速度 84 tokens / s

【LocalAI】(6):在autodl上使用4090部署LocalAIGPU版本,成功运行qwen-1.5-32b大模型,占用显存18G,速度 84t/s。它允许您在本地使用消费级硬件运行 LLM(不仅如此),支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的,与 OpenAI API 规范兼容的 REST API。24G的显存占用了 18G,同时速度还可以。配置成功之后就可以启动了。

2024-04-20 23:55:23 1552 1

原创 【LocalAI】(5):在autodl上使用4090Ti部署LocalAIGPU版本,成功运行qwen-1.5-14b大模型,占用显存8G,原来是cuda-11版本的原因

cuda的硬件版本是 12.4 比如 4090D 的,可以使用local-ai-cuda12-Linux-x86_64 版本。其他的情况,比如 cuda 是12.2 或这 11.8 的情况。就只能使用local-ai-cuda11-Linux-x86_64 的版本了。

2024-04-20 16:45:49 414

原创 【LocalAI】(3):LocalAI本地使用Model gallery,对qwen模型进行配置,使用modescope源下载,本地运行速度快。特别简单!

在linux上使用一个二进制文件,成功运行embeddings和qwen-1.5大模型,速度特别快,有gitee配置说明。它允许您在本地使用消费级硬件运行 LLM(不仅如此),支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的,与 OpenAI API 规范兼容的 REST API。本身localai的后端实现就是 llama.cpp ,所以也可以支持qwen大模型。modelscope.cn 进行下载,速度会更快。支持gguf的量化版本。

2024-04-09 09:07:38 611

原创 【LocalAI】(3):终于研究明白了!超级简单!在linux上使用一个二进制文件LocalAI,成功运行embeddings和qwen-1.5大模型,速度特别快,有gitee配置说明

【LocalAI】(3):超级简单!在linux上使用一个二进制文件,成功运行embeddings和qwen-1.5大模型,速度特别快,有gitee配置说明。它允许您在本地使用消费级硬件运行 LLM(不仅如此),支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的,与 OpenAI API 规范兼容的 REST API。

2024-04-09 09:00:21 680

原创 【xinference】(8):在autodl上,使用xinference部署qwen1.5大模型,速度特别快,同时还支持函数调用,测试成功!

可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。借助 Xinference,您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的 AI 应用。然后就可以查看全部支持的模型进行启动。启动Xinference服务。

2024-04-02 23:00:42 1314

原创 【xinference】(7):在autodl上,使用xinference一次部署embedding,rerank,qwen多个大模型,兼容openai的接口协议,超级棒的方案

Xorbits Inference (Xinference) 是一个开源平台,用于简化各种 AI 模型的运行和集成。借助 Xinference,您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的 AI 应用。【xinference】(7):在autodl上,使用xinference一次部署embedding,rerank,qwen多个大模型,兼容openai的接口协。在autodl上下载项目主要是安装。启动访问之后可以进行安装各种软件了。启动Xinference服务。

2024-04-02 22:36:55 2440 2

原创 【wails】(10):研究go-llama.cpp项目,但是发现不支持最新的qwen大模型,可以运行llama-2-7b-chat

编译成功,虽然有一点 warning 警告信息,问题不大。

2024-03-23 23:41:18 566

原创 【ai技术】(4):在树莓派上,使用qwen0.5b大模型+chatgptweb,搭建本地大模型聊天环境,速度飞快,非常不错!

特别注意是 docker-compose-linux-armv7 版本,linux版本。安装docker 和 docker-compose 命令。

2024-03-23 12:40:30 2020

原创 【ai技术】(3):使用脚本对树莓派4,上面的ollama qwen 大模型测速,0.5b速度 9.6 words/s,1.8b速度 2.8 words/s,也是非常不错了。

【代码】【ai技术】(3):使用脚本对树莓派4,上面的ollama qwen 大模型测速,0.5b速度 9.6 words/s,1.8b速度 2.8 words/s,也是非常不错了。

2024-03-21 22:58:45 674

原创 【ai技术】(3):树莓派4,成功安装ollama软件,内存4G,推荐使用命令行界面安装,使用raspi-config配置wifi,运行速度飞快

【代码】【ai技术】(3):树莓派4,成功安装ollama软件,内存4G,推荐使用命令行界面安装,使用raspi-config配置wifi,运行速度飞快。

2024-03-21 22:07:47 1018

原创 【ai技术】(2):树莓派3,使用的是armv7的版本,不支持ollama安装,内存1G,推荐使用命令行界面安装,使用raspi-config配置wifi,老设备了运行不了图形界面

树莓派3,安装ollama本地运行ollama大模型,测试速度。

2024-03-18 09:04:09 421

原创 【ai技术】(1):发现一个大模型可视化项目,使用nodejs编写的,llm-viz,可以本地运行展示大模型结构。

https://github.com/bbycroft/llm-viz或者镜像:https://gitcode.com/bbycroft/llm-viz.git项目 主要项目有:LLM 可视化:运行推理的 GPT 风格 LLM 网络的 3D 互动模型。 [WIP] CPU 模拟:一个带有完整执行模型的 2D 数字电路图编辑器,展示了一个简单的基于 RISC-V 的 CPU。LLM 可视化 这个项目显示了一个 GPT 风格网络的工作实现的三维模型。也就是说,这是 OpenAI 的 GPT-2、GPT-

2024-03-18 08:28:49 921

原创 【ollama】(8):nvidia-docker在Nvidia Jetson Nano设备,对接chatgpt-web服务,配置成功,可以进行web聊天了,给ollama增加web界面

特别注意是 docker-compose-linux-armv7 版本,linux版本。然后安装docker 执行脚本即可。

2024-03-16 23:41:36 334

原创 【ollama】(7):使用Nvidia Jetson Nano设备,成功运行ollama,运行qwen:0.5b-chat,速度还可以,可以做创新项目了

【代码】【无标题】在jetson上安装 ollama。

2024-03-16 22:31:43 1044 2

原创 【ollama】(6):在本地使用docker-compose启动ollama镜像,对接chatgpt-web服务,配置成功,可以进行web聊天了,给ollama增加web界面

Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。使用ollama + chatgpt-web 实现本地大模型执行。然后访问:http://localhost:3002/ 即可。CPU 推荐使用 7b及以下版本。

2024-03-14 23:28:11 1529

原创 【ollama】(5):在本地使用docker-compose启动ollama镜像,修改模型存储位置,并下载qwen-0.5b模型,速度飞快

Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。【ollama】(5):在本地使用docker-compose启动ollama镜像,并下载qwen-0.5b模型,速度飞快。

2024-03-14 09:04:54 4052

预训练模型技术实践.pdf

预训练模型技术实践.pdf

2023-08-02

搜狗拼音输入法 sogoupinyin-2.3.1.0112-amd64.deb 老包

搜狗拼音输入法。sogoupinyin_2.3.1.0112_amd64.deb 这个下载资源不需要积分。搜狗的免费软件。

2022-10-19

goland-2018.2.3.good.tar.gz.ab

goland-2018.2.3.tar.gz 2018年版本,特别珍贵, goland-2018.2.3.tar.gz 2018年版本,特别珍贵。

2020-02-10

goland-2018.2.3.good.tar.gz.aa

goland-2018.2.3.tar.gz 2018年版本,特别珍贵, goland-2018.2.3.tar.gz 2018年版本,特别珍贵。

2020-02-10

arduino-1.8.11-macosx.zip(macos)

arduino IDE 工具,官网网站: https://www.arduino.cc/en/Main/Software 从官网下载后上传的。

2020-01-30

arduino-1.8.11-linux64.tar.xz(linux64)

arduino IDE 工具,官网网站: https://www.arduino.cc/en/Main/Software 从官网下载后上传的。

2020-01-30

arduino-1.8.11-linuxaarch64.tar.xz(arm64)

arduino IDE 工具,官网网站: https://www.arduino.cc/en/Main/Software 从官网下载后上传的。

2020-01-30

arduino-1.8.11-windows.exe(windows)

arduino IDE 工具,官网网站: https://www.arduino.cc/en/Main/Software 从官网下载后上传的。

2020-01-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除