docker
文章平均质量分 82
fly-iot
没什么大不了,一直写代码。
展开
-
【compshare】(2):在compshare算力共享平台的主机上安装docker镜像和nvidia-docker方法,和普通ubuntu一样,安装好驱动之后安装nvidia-docker2即可
选择ubuntu 镜像和设置密码,可以设置随即。原创 2024-05-26 22:41:02 · 211 阅读 · 0 评论 -
【LocalAI】(9):本地使用CPU运行LocalAI,一次运行4个大模型,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字模型
【LocalAI】(9):本地使用CPU运行LocalAI,一次运行4个大模型,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字模型。它允许您在本地使用消费级硬件运行 LLM(不仅如此),支持与 ggml 格式兼容的多个模型系列。支持CPU硬件/GPU硬件。LocalAI 是一个用于本地推理的,与 OpenAI API 规范兼容的 REST API。替换了镜像里面的aio 文件夹。把模型都使用国内镜像进行下载地址替换了。使用了modescope 下载地址。原创 2024-05-01 12:44:21 · 953 阅读 · 0 评论 -
【ollama】(6):在本地使用docker-compose启动ollama镜像,对接chatgpt-web服务,配置成功,可以进行web聊天了,给ollama增加web界面
Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。使用ollama + chatgpt-web 实现本地大模型执行。然后访问:http://localhost:3002/ 即可。CPU 推荐使用 7b及以下版本。原创 2024-03-14 23:28:11 · 1670 阅读 · 0 评论 -
【ollama】(5):在本地使用docker-compose启动ollama镜像,修改模型存储位置,并下载qwen-0.5b模型,速度飞快
Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。【ollama】(5):在本地使用docker-compose启动ollama镜像,并下载qwen-0.5b模型,速度飞快。原创 2024-03-14 09:04:54 · 4805 阅读 · 0 评论 -
【大模型知识库】(5):本地环境运行dity+fastchat的BGE模型,可以使用embedding接口对知识库进行向量化,连调成功。
知识库使用起来也是非常的方便的,配置bge的embedding 接口。原创 2023-12-18 23:40:23 · 3397 阅读 · 0 评论 -
【大模型知识库】(4):本地环境运行dity+fastchat的ChatGLM3模型,可以使用chat/completions接口调用chatglm3模型
dify 已经是非常完善的产品了,可以快速的进行配置开发一个聊天应用。同时支持配置提示词。非常方便。还有知识库可以配置使用。原创 2023-12-18 22:48:31 · 1279 阅读 · 0 评论 -
【大模型知识库】(2):开源大模型+知识库方案,docker-compose部署本地知识库和大模型,毕昇+fastchat的ChatGLM3,BGE-zh模型,通过拖拽/配置方式实现大模型编程
通过拖拽的方式可以实现模型的配置编程,可以快速的开发应用。或者提供对外接口,非常的方便。这个只是演示了配置chatglm3 接口的部分。持续研究中。原创 2023-12-16 23:13:38 · 6366 阅读 · 2 评论 -
【Yi-34B-Chat-Int4】使用4个2080Ti显卡11G版本,运行Yi-34B模型,5年前老显卡是支持的,可以正常运行,速度 21 words/s,vllm要求算力在7以上的显卡就可以
11月24日,零一万物基正式发布并开源微调模型 Yi-34B-Chat,可申请免费商用。同时,零一万物还为开发者提供了 4bit/8bit 量化版模型,Yi-34B-Chat 4bit 量化版模型可以直接在消费级显卡(如RTX3090)上使用。但是人家没有说是一张就行,经测试需要 42G 显存原创 2023-12-02 21:08:29 · 3722 阅读 · 1 评论 -
【大模型知识库】(1):系统架构设计思考/调研。开源项目llm-knowledge-system,部署mysql,seilisearch,milvus,fastchat的ChatGLM3,BGE-zh
项目介绍端口mysql数据库3306搜索库7700milvus向量数据库19530fastchat模型框架,部署chatglm3,BGE-zh8000使用goframe可以快速创建项目。然后就可以进行开发了。在项目的docker-compose 目录下可以直接将各种中间件服务都启动。配置都在各自中间件的目录下面。数据都存储在data目录下面。原创 2023-11-28 21:19:56 · 2399 阅读 · 0 评论 -
【baichuan2】(1):使用 fastchat 部署Baichuan2-13b服务,启动8bit的worker,可以运行openai_api服务和web界面方便进行测试
百川模式13b需要的资源更多。原创 2023-11-25 14:16:03 · 3125 阅读 · 0 评论 -
转型做视频了,博客就是稿子,继续坚持写博客,同时发布视频,能写博客说明思路清晰了,能再讲明白,理解就更透彻了,紧跟上时代发展。
同时在而后小伙伴进行评论沟通的时候也发现,对Linux 基础,Docker 基础还是有很多问题。学习大模型,有条件的弄个新电脑,直接安装新Linux系统。最近的几个视频都是讲的ChatGLM3,说明最近大模型的学习还是非常热的。最近使用视频制作了几个视频。播放量还不错,最好的已经到了 2.6K了。使用OBS 进行录制的。或者使用云的 AutoDL 云主机也性,都是Linux。然后使用GIMP 做封面,或者用web的工具制作封面。目前没有字幕,专门购买了一个耳机进行录制。技术的学习,弄明白了,然后写博客。原创 2023-11-21 22:31:33 · 219 阅读 · 0 评论 -
【ChatGLM3】(5):使用 fastchat 部署ChatGLM3服务,启动8bit的worker,可以运行openai_api服务和web界面方便进行测试。还支持embeddings 接口!
•最先进模型的权重、训练代码和评估代码(例如Vicuna、FastChat-T5)。•基于分布式多模型的服务系统,具有Web界面和与OpenAI兼容的RESTful API。FastChat是一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台。可以成功部署 bge-zh 模型进行 embedding 的向量化,还是非常方便的。经过实验,可以发现使用fastchat可以成功部署ChatGLM3 进行对话。需要python3的环境,因为启动模型,需要nvidia的镜像。原创 2023-11-18 23:51:03 · 6737 阅读 · 4 评论 -
【chatglm3】(3):在AutoDL上,使用4090显卡,部署ChatGLM3API服务,并微调AdvertiseGen数据集,完成微调并测试成功!附视频演示。
载处理好的 AdvertiseGen 数据集,将解压后的 AdvertiseGen 目录放到本目录下。对于输入输出格式的微调,可使用 inference.py 进行基本的推理验证。AdvertiseGen以商品网页的标签与文案的信息对应关系为基础构造。来下载和将数据集处理成上述格式。完全可以满足内部使用了。原创 2023-11-13 22:56:39 · 4136 阅读 · 1 评论 -
【chatglm3】(2)使用docker运行chatglm3对外的http服务,使用python代码执行函数调用,查询北京天气
【官方教程】ChatGLM3-6B 部署和微调(Function Call、Code Interpreter、Agent)执行函数代码,修改main_tool.py。{‘city_name’: ‘北京’}原创 2023-11-02 21:26:56 · 1179 阅读 · 0 评论 -
【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦
chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行。这样就可以开发更丰富的应用了。原创 2023-10-29 21:53:14 · 6811 阅读 · 5 评论 -
【开源电商网站】(2),使用docker-compose和dockerfile进行配置,设置自定义的镜像,安装插件,增加汉化包,支持中文界面汉化。
相关内容:https://blog.csdn.net/freewebsys/category_12461196.html原文地址:https://blog.csdn.net/freewebsys/article/details/133666433https://gitee.com/study-demo-all/oscommerce2-study包括以下运行的详细代码:首先是镜像的选择,统一使用debian的基础镜像,库安装方便。同时镜像也比较小。常用的命令也非常熟悉。相关的debian版本:Debia原创 2023-10-10 21:48:09 · 1369 阅读 · 0 评论 -
【开源电商网站】(1),使用osCommerce2.4项目学习,使用docker-compose配置nginx+php-fpm+mysql,解决安装的问题,成功安装项目
经过几天的研究,终于弄明白了php的环境如何配置成功了。这个是很古老的开源项目了,数据库比较少,同时源代码都放到文件里面了。最新的osCommerce4,文件大很多,而且GPL的开源协议。但是 osCommerce2,因为比较老的项目了所以是MIT开源的。可以进行学习研究,毕竟9年前的产品了,相关的代码设计,架构,技术栈都非常的老了。但是不影响学习。使用的是jqueryUI,刷新页面的方式进行开发的。原创 2023-10-06 22:39:30 · 263 阅读 · 0 评论 -
【fly-iot飞凡物联】(12):EMQX 5.1使用docker 本地部署,接入到Actorcloud的数据库中,成功连接创建的设备,可以控制设备访问状态
未经博主允许不得转载。终于弄明白了,EMQX的使用,同时也支持 MQTT5 了,可以正常连接到数据库中创建的设备了。同时支持很多的扩展接口。可以非常的方便进行管理端的开发和连调了。但是回调接口目前不知道通过什么job 方式去获得在线状态。原创 2023-07-29 10:09:49 · 1924 阅读 · 0 评论 -
【PythonStock(38)】Python全栈股票系统:原版项目迁移到gitee项目啦,github项目已经存档不再更新,最近在用gitee也是非常不错的很很好用
使用Python开发一个web股票项目。主要使用开发语言是python。使用的lib库是pandas,tushare,TensorFlow,tornado等。本文的原文连接是:项目从2017年开始编写,一直还都在维护中,断断续续不,最近发现github访问经常有问题。虽然在gitee上面有了6K的星星,也不算太高。项目就是类似做了一个简单的web工具。和解决了相关的python环境问题,通过镜像做了优化,同时学习使用python和pandas相关类库的使用。原创 2023-06-03 21:06:59 · 2109 阅读 · 6 评论 -
docker hub 访问不了,可以进行拉取和推送,但是不能进行注册登陆了,界面找不到了,大家一起讨论看看有什么好的解决办法。
国内做这个的自然就少了。可以选择的并不多呢,还是希望国内有个比较全面的镜像仓库。目前配置源还是可以正常的pull 和 push 的。但是登陆不了界面,创建不了新的应用了。镜像比较多,但是已经不更新了,很多都是2年前的镜像。这样应该耗费的资源不是很多。只是做界面,然后把相关的数据都查询然后展示下。并且只是展示不做存储。昨天刚把 IOT 项目的镜像推送上去。自然会组织起来的,相信国内的软件行业。但是开源这种免费的镜像服务,不挣钱。而且特别的耗费存储和网络带宽的。用作服务器的费用也是可以的。原创 2023-05-29 21:22:16 · 9513 阅读 · 4 评论 -
【docker】清理docker系统垃圾文件,节省磁盘空间,保留最新的镜像,使用docker system 命令
尤其是构建前端,构建golang的时候,每次都要下载镜像文件。会有很多的build cache。因为经常需要发布,构建,服务器机器选择从磁盘空间比较少。反而真正的有用的镜像其实占不了多少空间。可以继续使用docker了。同时使用的镜像还在。原创 2023-05-07 13:50:32 · 886 阅读 · 1 评论 -
【使用debian镜像】docker的基础镜像很多,生产环境中使用建议还是不要使用centos和alpine的基础镜像了,直接使用debian的基础镜像即可。
未经博主允许不得转载。python:3.8-slim-bullseye,也是debian11版本总结起来,使用debian的镜像还是非常的方便的。后续相关的资料和技术都比较成熟了,镜像也就省一点点的磁盘。因为镜像是一次层一层的,一个镜像小了30M,其实也还好。关键是服务稳定,和扩展、维护性更好。像 TF,pytorch等机器学习的框架都上G的镜像。用的是 ubuntu 比较多,综合看没有必要极致的使用 alpine。原创 2023-03-25 09:50:34 · 2890 阅读 · 0 评论 -
【studygolang】(1):开源golang写的BBS论坛代码部署研究,使用docker-compose进行编译构建,并启动完成论坛安装,可以注册admin帐号。获得积分发帖了。
未经博主允许不得转载。完成度非常高的BBS论坛,有很多实用的功能,部署也是非常的方便的。源代码加上docker-compose可以非常方便的部署起来。部署完成之后支持快速安装,可以使用admin帐号进行登陆。要是本地测试密码可以使用简单些,要是线上的服务,密码要复杂。能完成论坛的很多功能了。非常适合实际使用的场景。特别好。原创 2023-03-16 00:17:26 · 552 阅读 · 1 评论 -
【casnode】(3):切换回默认证书,解决casnode论坛的登陆跳转问题,可以正常登陆/注册了。
终于折腾明白整个论坛了,同时使用最简单的办法,使用docker-compose的方式把相关的服务。docker-compose的配置文件已经提交了:casdoor和casnode服务都跑起来。同时了解到casdoor是非常不错的管理帐号的服务。收获还是非常多的。原创 2023-03-12 20:16:31 · 441 阅读 · 0 评论 -
【casnode】:(2)casnode和casdoor配置成功,论坛可以进注册登陆,通过配置修改即可,去掉邮箱和手机号验证,可以进行注册,登录回调有点问题,继续研究。
论坛casnode需要 casdoor 进行权限控制,需要进行登陆页面展示。最重要的技术 clientId 和 clientSecret 和对应的服务器地址。然后就可以进行跳转了。但是还差一点callback的校验。就可以跳转成功了。原创 2023-03-11 14:33:47 · 403 阅读 · 0 评论 -
【casnode】(1):开源BBS技术调研,使用docker-compose启动casdoor项目和casnode项目,可以登陆进行权限控制,bbs也正常显示,继续研究中。
未经博主允许不得转载。看着项目还是不错的,使用前后端分离的技术进行开发的。前端使用reactjs 开发,后端使用golang + beego 进行开发。还没有看代码,可以使用docker-compse通过镜像把项目跑起来。而且apache2.0开源的项目,虽然现在论坛不 流行了,但是也有很多地方需要BBS。而且还支持多语言。原创 2023-03-10 23:29:12 · 519 阅读 · 0 评论 -
【TensorFlow】:在Linux上安装nvidia-docker环境,解决显卡切换问题,只需要几步就可以成功安装,安装之后登陆不了界面,只能变成服务器模式命令后执行了。
运行之前的gpt-2-simple的项目,使用gpu镜像,结果就OOM了。看来4G内存还是太小了。原创 2023-03-09 08:28:50 · 905 阅读 · 0 评论 -
【tensorflow】:使用docker进行源代码编译tensorflow,镜像里面的环境都配置好了,只要执行编译,设置好内存,cpu参数就行了。
打算找个便宜的主机,拆下系统盘,做模型训练,等需要电脑配置升级了卖了买新的。为啥选择这么便宜的电脑呢,主要利用的就是是rtx3060的12G显存。可以购买好多台,然后进行Tensorflow集群,做训练。主要还是没钱,穷。tesnsorflow使用 devel 进行支持源代码的编译,非常的方便。里面的babel 都配置好了,只要设置好了内存,慢慢等待编译结果就行了。就可以直接在当前的镜像中进行安装即可。原创 2023-03-06 23:12:33 · 716 阅读 · 0 评论 -
研究开源gpt-2-simple项目,跑一个简单的模型,然后生成一段对话。用的是 Intel(R) Core(TM) i7-9700,8核8线程,训练最小的模型200次跑1个小时20分钟
ai果然是高技术含量的东西,代码啥的不多,就是没有太看懂。然后消耗CPU和GPU资源,也是非常消耗硬件的。这个很小的模型训练200次,都这么费时间,更何况是大数据量多参数的模型呢!!同时这个基础设施也要搭建起来呢,有个项目要研究下了,就是得去研究服务器集群了,因为Nvidia的限制,服务器上跑的都是又贵又性能低的显卡。但是可以本地跑集群做训练呢!!!原创 2023-03-03 23:02:15 · 1586 阅读 · 0 评论 -
【fly-iot飞凡物联】(3):如何从0申请云服务器,部署docker服务,选择价格便宜的方案,使用simple方式购买,选择突发性能实例便宜,选择错了退订,不要冲动购买服务器
感觉上simple的更便宜,但是没有选择网络组了,会少100块左右。这个最便宜,每年买一次。老用户专享新购1年4折,限1次1台同时快速购买暂不支持设置实例登录凭证。如需远程登录实例,可创建后通过控制台“重置实例密码”操作完成设置。感觉上会麻烦些。但是可以省钱,其他也都正常使用。同时,要是选择错了,可以赶紧退订下,5天内有效呢。原创 2023-02-26 21:55:28 · 250 阅读 · 0 评论 -
研究了半天发现还是使用beego框架顺手,虽然不是新框架但是用着非常方便,做个小的后台运维系统不在乎美观的
想开发一个使用golang 用的管理后端,发现还是使用beego开发方便。每个框架都有自己适合的地方。现在很多项目都在使用 api + vue 前后端分离的方式进行开发,微服务的方式开发。但是也有些场景可以使用 刷新页面的方式开发。节约时间成本。如果你是老老程序员,还会jquery,可以尝试下。如果你要新学习的话,直接vue做项目,然后启动两个工程吧,就别学jquery了。原创 2023-02-22 09:03:24 · 515 阅读 · 0 评论 -
【EdgeX(15)】 :在EdgeX环境下配置eKuiper规则引擎服务,配置规则处理device-virtual发送的数据,并转发给HTTP服务
总体来说 EdgeX的eKuiper 规则引擎使用起来是非常的方便的。通过和 EdgeX 深度整合,可以直接转换调用成各种方法,也可以自定义转发到 rest mqtt mq 等地方。同时可以接收到device-virtual的数据。正个流程也非常清晰方便。原创 2022-11-01 23:53:32 · 1171 阅读 · 0 评论 -
MySQL的时间戳2038年问题还有16年,最好在设计上的时候使用datetime就可以了,不要使用时间戳字段了,即使用了也不要用int类型进行映射,使用long类型映射即可
所以在设计 mysql 数据表的时候还是要使用 datetime 比较好。不要使用时间戳字段,虽然还有16年,以后用啥数据库都不知道了。但是保险起见还是一次到位好,再有datetime 更直观,时间戳看的费劲。还需要转换,太麻烦了。原创 2022-10-22 09:44:05 · 2368 阅读 · 0 评论 -
【EdgeX(14)】 :使用Intel的EVAM微服务跑通demo-app应用,可以对摄像头的数据进行stream pipline进行流处理,微服务底层使用OpenVINO组件库,可以识别自行车行人
使用Intel的 EVAM 微服务,创建OpenVINO的目标检测跟踪服务,并成功接受到相关坐标数据。这个官方例子还是非常的丰富的。稍作修改下就可以应用到项目当中了,已经把相关的目标检测模型都放到 OpenVINO 中,封装成一个docker 服务器启动了。整个流程也通过配置下就可以了。非常的方便、简单、高效的边缘演示服务!原创 2022-10-22 09:42:29 · 699 阅读 · 0 评论 -
【EdgeX(12)】 :摄像头使用device-onvif-camera服务接入EdgeX,参考官方视频,需要稍微操作下就可以接入成功,然后通过参数就可以获得TP-LINK摄像头的rtsp地址。
经过这几部操作设备就注册到 edgex 服务上了。然后就可以通过 EdgeX 的api 获得设备的url 流地址。需要借助几个命令,操作下就可以了,还是非常的方便的。也可以识别出摄像头的版本、信息等。非常方便。原创 2022-10-19 11:44:15 · 2786 阅读 · 0 评论 -
【云服务器选择】尝试调研几家云服务器,看看哪家最便宜,买一台服务器,用来部署Docker服务。结果出乎意外,没有想到呢,仅从价格上进行初步调研,非其他方面调研的。
前一阵子的服务器到期了,准备续费的时候突然发现涨价了,之前是按照优惠价格购买的3年服务器资源,现在贵了啊。没有优惠了。顺便注册了多家服务器资账号看看哪家便宜。国内最早的云是阿里、腾讯,但看了价格,阿里贵,腾讯便宜。然后是华为云,上面的cci 感觉上做的不错可以按照秒进行收费。可以直接支持 k8s yaml 进行部署。非常原生。但是就想部署一个最便宜的服务器跑跑 python 程序。确实不用这个牛刀。要是部署一台服务器还是需要再看看价格。毕竟是自己学习研究使用。原创 2022-10-01 22:15:10 · 2252 阅读 · 0 评论 -
【EdgeX(11)】 :通过研究openvino项目发现一个好东西,CVAT项目数据标注工具,可以使用docker-compose进行本地部署,本地局域网中使用,也非常安全
CVAT 全称 Computer Vision Annotation Tool,是用于计算机视觉的免费、在线、交互式视频和图像注释工具。也可以使用docker-compose 进行本地部署。部署在内网环境中,支持多人协同工作,而且还可以分配权限,进行各种学习使用。非常方便,用到了redis,postgres 存储数据,可以支持图片标准,还可以进行3D数据的标注,非常方便,项目也是MIT 开源协议的,前端使用ant-design + react 进行开发的,后端是 python3 django 开发的管理端原创 2022-08-14 13:01:19 · 3445 阅读 · 0 评论 -
EdgeX(10) :Xubuntu-22 linux系统安装EdgeX2.1相关服务,服务都比较小,下载启动速度快。
在xubuntu 22 linux 系统上安装 edgex 2.1 相关服务。EdgeX 2.1 做了很多优化。相比 2.0 起码优化docker-compose 文件,都是要docker官方的镜像进行下载了。总体上界面感觉没有太大的变化。毕竟也是小版本升级。然后开发相关服务。...原创 2022-08-08 17:14:21 · 591 阅读 · 0 评论 -
【ROS1学习-01】使用ROS系统进行相关代码开发,使用docker解决环境问题,遇到一些奇怪问题,总结汇总下,开始学习研究
机器人操作系统 ROS (Robot Operating System) 是一个用于编写机器人软件的灵活框架,它集成了大量的工具、库、协议,提供类似操作系统所提供的功能,包括硬件抽象描述、底层驱动程序管理、共用功能的执行、程序间的消息传递、程序发行包管理,可以极大简化繁杂多样的机器人平台下的复杂任务创建与稳定行为控制。 ...原创 2022-07-30 09:14:51 · 586 阅读 · 0 评论 -
【在mac,ubunt上安装minikube】作为开发折腾这些环境确实比较累,而且收益不高,但是相关的技术也要学习,使用minikube创建kubernate集群,使用dashboard操作
使用 minikube 还是非常的方便的。同时开启 dashboard 之后,直接使用界面 yaml 创建服务啥的,也是非常方便。还有界面可以exec 登录到服务上。方便很多,不用记住相关命令了。但是命令也和 docker 命令一样,也不多。很方便。...原创 2022-07-08 18:50:10 · 750 阅读 · 0 评论