通过制作llama_cpp的docker镜像在内网离线部署运行大模型 对于机器在内网,无法连接互联网的服务器来说,想要部署体验开源的大模型,需要拷贝各种依赖文件进行环境搭建难度较大,本文介绍如何通过制作docker镜像的方式,通过llama.cpp实现量化大模型的快速内网部署体验。
Linux逻辑卷LV的创建和扩容操作 创建逻辑卷:lvcreate -l 23482-n lv_data vg_name格式化:mkfs -t ext4 /dev/vg_name/lv_data创建目录:mkdir /data挂载:mount/dev/vg_name/lv_data/data查看:df -h
scala程序打包成可执行jar包(sbt package和sbt assembly) 使用sbt-assembly插件对sbt构建的scala程序进行打包,生成可以通过“java -jar”命令来执行jar包。
通过简单java文件制作可执行jar包(以实现对文件加密为例) 有时候需要用java写一些简单的处理脚本用于在服务器上处理一些任务,通过sh脚本进行启动和调度。为了简单起见,可以直接在服务器通过命令的方式来手动编译和制作可执行jar包,这样的jar包体积也是非常小。
linux下通过docker部署安装oracle完整操作(oracle19c和oracle12c) 一、安装oracle19c1、拉取镜像docker pull registry.cn-hangzhou.aliyuncs.com/zhuyijun/oracle:19c2、启动容器docker run -p 1521:1521 -p 5500:5500 \--name oracle1 \--net=host \-e ORACLE_SID=orcl \-e ORACLE_PDB=orclpdb1 \-e ORACLE_PWD=123456 \-e ORACLE_CHA
Openfaas的安装部署——Serverless无服务架构环境搭建 Serverless中译为“无服务器”,可以称为无服务器计算。可能有人要问了:“没有服务器,那还怎么部署应用程序?”然而,Serverless这个概念并不代表真正的不需要服务器,只是开发人员不再需要购买、管理或维护服务器,因此可以理解为应用开发者无需管理服务器。Serverless架构的核心思想,就是将提供服务资源的基础设施抽象成各种服务,以API接口的方式供给用户按需调用,真正做到按需伸缩、按使用收费。和传统方式相比,采用Serverless架构的应用资源利用率更高,能更好地利用闲置服务器。.
centos下docker和k8s实验环境搭建 minikube安装1、win10安装docker我的电脑是win10专业版,可以直接安装docker-ce版本。具体操作如下:(1)开启 Hyper-V:进入“控制面板\程序\程序和功能”,勾选“Hyper-V”。(2)下载安装包https://download.docker.com/win/stable/Docker%20Desktop%20Installer.exe(3)双击安装即可。2、centos下安装docker如果有centos服务器,...
上传jar包依赖到maven私服的操作方法 1、配置maven的settings文件<servers><server><id>releases</id><username>deployment</username><password>deployment123</password></server><server>...
使用Nexus搭建maven私服 1、安装nexus进入官网https://help.sonatype.com/repomanager2/download,根据相应的平台进行下载。2、启动2.1windows系统解压之后,进入\bin\jsw目录,我的是D:\Program Filesexusexus-2.14.12-02-bundleexus-2.14.12-02\bin\jsw,然后进入相应的版本目录,我的是windows-x86-64先安装wrapper,然后执行install-nexus...
confluence手动备份方法和定时任务设置 confluence备份有两种方式:一、软件自带的备份机制管理员账号登录Confluence,点击右上角的"一般配置"-"每日备份管理"进行管理,默认每天凌晨2点会自动备份一个zip打包的数据,存放在服务器的/var/atlassian/application-data/confluence/backups路径下,但是该方法不推荐使用,可能对服务本身产生影响。二、手动备份-通过定时备份脚本实现1、数据库备份mysqldump -uUSER -pPASSWORD -hlocalhost -P3306
Confluence(含Mysql)离线安装方法(含注册) Confluence是一个专业的企业知识管理与协同软件,也可以用于构建企业wiki。使用简单,但它强大的编辑和站点管理特征能够帮助团队成员之间共享信息、文档协作、集体讨论,信息推送。具体介绍见官网https://www.atlassian.com/software/confluence,下面介绍一下该软件的离线安装和注册方法,在线安装也可参考。1、Mysql的离线安装我们一般使用Mysql进行数据存储,如果已经有mysql环境,跳过这一步。因为环境是离线环境,因此这里选择离线安装的方式。如果有.
SpringBoot2中使用@Async实现异步调用 SpringBoot2中使用@Async实现异步调用一、为什么要用异步在java应用中,大多是通过同步的方式来实现交互处理的;但是容易造成响应迟缓的情况,此时我们可以使用异步的方式来缩短响应时间。二、如何使用@Async注解1、在springboot启动类当中添加注解@EnableAsync注解。package com.springlustre.learn.demo;import org.springframework.boot.SpringApplication;import org.sp
阿里云ECS服务器开通访问端口 阿里云ECS服务器默认是入网所有端口关闭,出网所有端口打开。如果我们在服务器上启动一个应用程序,默认是无法通过公网ip+端口的方式访问的。开通阿里云ECS的网络端口包括两部分。1:在控制台上添加安全组规则,2:在服务器的防火墙上添加端口。具体操作为:1、在控制台上添加安全组规则:登录阿里云的控制台,“网络与安全” -> “安全组”中入网规则,如图所示2、开通防火墙端口(1)检查防火墙状态,systemctl status firewalld,如果显示active说明防火墙已开启.
解决maven编译时出现lombok堆栈溢出问题:lombok StackOverflowError 1、问题描述:在使用mavne编译springboot项目时报错如下:[INFO][INFO] --- maven-compiler-plugin:3.8.0:compile (default-compile) @ airm-ltfq-analyse-service ---[INFO] Changes detected - recompiling the module![INFO] Compiling 66 source files to D:\workspace\xxxx\target\c
centos下安装pyinstaller方法(包括多次踩坑过程) centos下安装pyinstaller有两种方式:方式一:直接用pip安装pip install pyinstaller方式二:源码安装pip3 download pyinstallertar -zxvf PyInstaller-3.6.tar.gzcd PyInstaller-3.6/python3 setup.py buildpython3 setup.py install如果输入 pyinstaller 命令可以直接使用,那就可以了。如果和我遇到一样的问题,参
gradle项目转maven项目 安装gradle1、下载 http://services.gradle.org/distributions/选择gradle-6.1-milestone-3-bin版本2、解压,配置环境变量我的是D:\Program Files\gradle-6.1-milestone-3\bin3、验证,在命令行输入 gradle -v 进行验证修改gradle文件1、在build.gradle中...
python3调用cpp的方法——python调用so python中使用ctypes模块可以在python中直接调用C/C++。首先要将C/C++编译成动态库(.so),之后python中调用即可特别注意在调用C++函数需要在函数声明时,加入前缀“ extern “C” ”,这是由于C++支持函数重载功能,在编译时会更改函数名。在函数声明时,前缀extern "C"则确保按C的方式编译。值得注意的是,一定要有函数输入输出类型的声明,int型不用...
centos升级gcc到6.3.0——源码编译安装GMP,MPFR,MPC和GCC 阿里云的centos系统自带的gcc版本为4.8.5,可以通过gcc -v命令查看[root@wcz gcc-6.3.0]# gcc -vUsing built-in specs.COLLECT_GCC=gccCOLLECT_LTO_WRAPPER=/usr/libexec/gcc/x86_64-redhat-linux/4.8.5/lto-wrapperTarget: x86_64-...
docker镜像存储结构和存储目录迁移 目录docker镜像存储结构修改docker存储目录查看存储目录查看docker.service修改docker.servicedocker镜像存储结构docker默认镜像的存储目录是/var/lib/dockerdevicemapper/devicemapper/data #用来存储相关的存储池数据 devicemapper/devicemapper/metadat...
centos7安装redis方法和常用操作 1、下载redis源码:wget http://download.redis.io/releases/redis-5.0.5.tar.gz2、解压:[root@wcz redis]# tar -zxvf redis-5.0.5.tar.gz3、编译:cdredis-5.0.5 make make install...