- 博客(2833)
- 资源 (54)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 k8s核心操作_使用k8s在一个pod中部署两个以上的容器_以及部署两个nginx尝试---分布式云原生部署架构搭建020
端口已经被占用,因为我们部署了两个nginx对吧,所以这两个nginx都是80端口重复了。然后在pods中dashboard中,可以看到,对应的pod启动的过程,可以看到。然后从dashboard中也可以进行,操作,pod中 nginx tomcat。然后这里要知道,在pod中的,容器之间是可以共享网络空间,以及共享存储的。可以看到事件这里有个back-off对吧,这个是出现问题了,报错了。我们来部署两个试试,可以看到,我们在一个pod中部署。这里分析一下,可以看到, nginx 默认是80端口。
2024-07-08 16:33:43
4389
原创 麒麟arm架构系统_安装nginx-1.27.0_访问500 internal server error nginx解决_13: Permission denied---Linux工作笔记072
配置configure --prefix 代表安装的路径，--with-http_ssl_module 安装ssl，--with-http_stub_status_module查看nginx的客户端状态。可以看到这里可以指定安装目录,我这里指定的是data/module目录,如果不指定,直接执行。然后再去/data/module/nginx-1.27.0/configure。然后再去执行/data/module/nginx-1.27.0。注意这里--user=root可以加上,也可以不加,没影响.
2024-07-05 13:12:59
471
原创 k8s核心操作_使用yaml文件创建nginx的Pod_在dashboard中创建pod_并且使用k8s分配的地址访问nginx pod---分布式云原生部署架构搭建019
原因是因为没有指定命名空间,因为,我们的yaml,文件,产生的pod是要放到某个。然后如果想看访问这个nginx,我们刚刚在k8s部署的,怎么弄呢?我们看一下左侧带有N的标志的功能,表示,这些是与命名空间有关的,pod,可以看到文件中指定了版本,指定了名称mynginx然后。直接把yaml的内容,直接复制进去就可以了,点击上传就可以了。然后我们再去看,如果我们在命令行不方便,也可以直接在界面上。k8s集群中,使用k8s分配的ip地址是可以访问的,但是。然后cd /usr/share/nginx/html/
2024-07-04 10:29:16
1902
原创 k8s核心操作_namespace的作用_创建_删除_理解k8s中的最小单位Pod_命令行创建nginx的pod---分布式云原生部署架构搭建018
这个就是pod的功能要强大一些,可以包含多个容器,比如一个pod中,你可以安装redis 还可以再安装其他的比如mysql等。那么现在k8s中,一个pod中可以包含多个容器,多个容器共通组成一个pod,当然也可以一个容器。这里的1/2 表示,pod中有两个应用,其中,1个应用在正常工作,另一个异常了.两个容器,共同被封装在了一个pod中,完成了一个,文件的推送和展示的功能.因为这个样的话,获取的是默认的default命名空间中的pods。之前我们在docker中,启动一个,容器,比如redis的容器,
2024-07-04 10:28:54
203
原创 k8s_集群搭建_k8s管理前端_dashboard安装部署---分布式云原生部署架构搭建017
添加了安全组还是不行,因为,发现,这几个机器,每个机器绑定了不同的安全组,我们修改成同一个,就是我们要访问的端口,我们就可以使用公网IP+ 30753端口访问一下,网页端的。然后再去安装一下一个dashboard,有了这个以后,操作k8s集群就不用。然后再去执行 这个命令,等上面的,状态变成了running以后。然后如果执行慢,可以直接先去下载,使用wget,然后再去。修改的时候,直接,去修改我们之前创建的VPC网络就可以了。其实就是,我们给我们之前的vpc网络,去设置的这个安全组。
2024-07-03 14:33:57
306
原创 k8s_集群搭建_在主节点中加入node节点_k8s集群自恢复能力演示_token过期重新生成令牌---分布式云原生部署架构搭建016
其实我们是可以正常关机之类的,不用担心,重新开机以后不能使用,要记得如果在青云上关机,记得公网IP不要释放掉啊。然后我们再来说一下,如果把node,加入到master的时候,如果令牌过期了怎么办,可以看到,在上面。24小时有效的,这个命令是,安装master节点以后,命令行中给出的,复制去执行就可以了。可以看到,以上执行的命令,这个命令,要在,所有的node节点都执行一下,这个命令是。再去执行,这个命令可以,控制,让他一秒钟刷新一次,去查看状态。可以看到,可以得到一个新的命令,然后复制过去使用就可以了。
2024-07-03 14:31:42
8251
1
原创 使用瀚高数据库开发管理工具进行数据的备份与恢复---国产瀚高数据库工作笔记008
对应的包中有个dbclient 这个目录,选中这个目录以后,就可以了,然后。某个模式,比如bigdata_huiju 然后右键进行,点击。其实就是hgdbdeveloper,瀚高的数据库开发管理工具。但是只要报错中没有语法错误,sql执行错误就可以,恢复,然后进行恢复就可以了,但是要注意。data_middle 中,选中。使用瀚高数据库,备份 恢复数据。就正常用就行,不用管了就.在对应的数据库,比如。恢复以后会是报错的.
2024-07-02 17:30:38
278
原创 瀚高数据库2024最新版_6.0.4_Windows版安装使用---国产瀚高数据库工作笔记007
cmd中pg_ctl.exe -D D:\2024\highgo\data start 能启动后,然后再去执行 pg_ctl -D D:\2024\highgo\data stop ，然后去服务中其中再看下。D:\2024\highgo\data中postgresql.auto.conf和 postgresql.conf看下maintenance_work_mem。可以启动以后,然后修改一下,允许远程连接的配置;就可以了,然后再去用桌面上的工具去连接查看。手动启动无法启动,这个时候,首先去。
2024-07-02 13:55:48
433
原创 基于Datax开发支持瀚高数据库的插件_插件开发_以及部署---国产瀚高数据库工作笔记006
可以看到，使用的时候，可以直接先去安装最新版的datax，然后再把，这个编译好的，highgoreader，去放到。6.复制一个插件中的pom.xml文件，然后，到我们新建的插件中。如果想直接使用，开发好的插件，那么可以去下载笔者上传的，打包好的插件，直接放入到。8.然后在最外层的package.xml中，加上，我们自己的插件。10.打包，将最外层的pom.xml其他模块注释，留下自己的。12.然后把插件放到安装好的，服务器上的datax中，比如。7.将其他插件的这个文件夹，复制一份到我们自己的插件中。
2024-06-29 12:05:10
547
原创 k8s_集群搭建_容器环境安装_预备环境安装_ 安装k8s集群三大件_kubeadm_kubectl_下载k8s组件镜像_初始化master主节点---分布式云原生部署架构搭建015
你可以,将其他对机器,加入到master,里面,可以让机器有多个master,做均衡来用,高可用 可以看到 control-plane nodes,命令都给出来了。执行以后,然后再去,验证一下,三台机器,都ping 一下 cluster-endpoint。然后也可以将其他机器,通过执行下面的命令,以worker node的方式,加入到集群中去.然后再去关闭swap,一个是临时关闭一个是永久关闭,都执行一下,所有机器执行一下。然后再去,允许iptables 检查桥接流量,这些复制以后,在三台机器执行,然后。
2024-06-28 10:27:02
181
原创 k8s_组件架构_组件交互逻辑剖析_k8s集群安装逻辑_k8s集群安装流程梳理_开通三台青云服务器_集群规划_搭建基础集群---分布式云原生部署架构搭建014
再通过api server去通知,workernode,然后每个节点都有一个kubelet的角色,就是,从apiserver收到指令以后,然后去,在worker node上去。信息,存入etcd数据库,然后,controller manager做了决策以后,然后由scheduler去看看适合,要部署在哪个worker node上,得到了结果以后,然后,通知秘书部,api server, 然后调度者, scheduler是通过秘书部,来对所有几点进行统计,查询,看看哪个节点适合去做什么,
2024-06-28 10:25:28
246
原创 kubernetes的概念介绍_服务发现负载均衡_存储编排_自动部署和回滚_自动完成装箱计算_自我修复_集群的方式_架构原理---分布式云原生部署架构搭建013
如果领导只有一个,可能会挂掉,那么master有多个,就可以做成高可用,master挂了会,以少数服从多数原则,选举新的master.如果有一个机器down机了,那么,kubernetes会自动把这个应用再部署到,另一个机器,这样。这里容器编排系统,就是先把容器进行编,就是哪些容器,是一个分组,哪些是一个分组,然后再排。然后还有存储编排,就是等,容器删除以后,k8s会自动回收,对应容器的存储,然后自动完成装箱,指的是,可以对容器进行封装,封装他的cpu和内存,然后先看他的功能,负载均衡和服务发现,
2024-06-27 18:26:04
55
原创 使用容器配置文件构建任意应用镜像_并将应用镜像推送到公共仓库共享_应用分享与启动---分布式云原生部署架构搭建012
ENTRYPOINT ["java","-jar","java-demo-0.0.1-SHAPSHOT.jar"] 这个是入口,就是执行java -jar 后面加上jar包的名称,当然,因为我们这里。COPY target/*.jar /app.jar 将target目录下的所有jar包,都复制,成app.jar名字,然后。ENTRYPOINT ["java","-jar","app.jar"] 就可以了。以前是这样做的,不方便,因为需要在服务器上,安装jdk什么的,现在有了。
2024-06-27 18:25:28
344
原创 使用容器部署redis_设置配置文件映射到本地_设置存储数据映射到本地_并开发java应用_连接redis---分布式云原生部署架构搭建011
可以看到java应用的部署过程,首先我们要准备一个java应用,并且我们,用docker,安装一个redis。然后对于端口可以看到,我们要让本地的6379,映射到镜像中的6379。可以看到对应的目录,我们要把镜像中的,映射到本地,方便我们修改。最后那一行可以看到,表示redis的启动命令,所以。然后我们用的是青云服务器,去配置一下安全组放开。然后我们用redis工具连接一下看看,可以了。然后我们再去配置一下redis的密码。放在这里,然后我们去安装redis。对应的路径也映射好了,然后去执行。
2024-06-25 13:24:13
323
原创 从公共仓库拉取推送的镜像并启动_将镜像内部目录挂载到外部目录使用_从镜像中复制文件到本机目录_从本机目录复制文件到镜像中---分布式云原生部署架构搭建010
usr/share/nginx/html 映射到本地的/data/html目录,并且,设置了,镜像中的这个文件是可读可写的 rw 的。可以看到,上面这个命令,我们把本机的/data/html 和 镜像中的/usr/share/nginx/html 进行映射。把容器中的/etc/nginx/nginx.conf 这个文件,复制到本机的/data/conf/nginx.conf这里。/data/conf/nginx.conf:/etc/nginx/nginx.conf 进行映射。
2024-06-25 13:23:54
206
原创 进入容器修改内容_提交改变后的镜像_镜像保存成tar压缩包离线传输_镜像传输_镜像推送到公共仓库---分布式云原生部署架构搭建009
docker commit -a "-a表示作者" -m "提交的内容" 容器id 给新镜像起名字:版本。推送给别的机器,或者,放到远程仓库中去,这样所有人直接,去拉取就可以了。如果我们运行了一个镜像,然后我们进入到镜像中,修改了镜像的内容,那么。比如停机了,只要有保留的这个镜像,就可以恢复到跟原来一模一样。还有问题就是,如何把我们打好的,保存的镜像tar文件包,就直接提交镜像,就可以把修改后的镜像提交成一个新的镜像。而且关于,镜像的,内部放到什么地方了,都可以找到比如。
2024-06-21 17:23:54
1237
原创 镜像操作_容器操作_镜像拉取_镜像开机启动_镜像删除等常用操作---分布式云原生部署架构搭建008
p 88:80 就是让,本机的88端口,映射到docker镜像的80端口。如果希望,镜像自动启动,那么需要加上--restart=always。可以看到设置以后,对于,青云需要,进行点击一下,应用修改才会生效.这里的--name是给镜像起个名字,然后-d 表示后台运行。然后启动了nginx,我们去青云拿到,公网ip去访问看看。然后docker ps -a 可以看到,已经停止的镜像。然后注意这里有个tags,就是标签,镜像的标签。我们去删除运行中的mynginx镜像,然后再来看容器的常用命令,快速过一遍。
2024-06-21 17:23:22
75
原创 容器基本概念_从虚拟化技术_到容器化技术_开通青云服务器_并远程连接_容器安装---分布式云原生部署架构搭建007
就是registry.hub.docker.com 可以看到,在这里直接搜索需要的镜像。拉取镜像就是去 Registry 这个docker 仓库中去拉取,然后。docker执行 首先去docker build打镜像,然后。对于容器用的,统一存放容器镜像的地方是docker hub。这一部分,属于以前都会用到的,会快速过一遍,对于关键。目的就是,让你做的所有的软件,都可以一键部署启动。然后接下来我们在青云上,去进行,演示使用.然后我们去看一下,这个docker的仓库。然后去看一下这个docker操作的过程.
2024-06-20 10:36:06
6560
原创 阿里云上构建_VPC专有网络_子网划分_原理说明_创建_释放---分布式云原生部署架构搭建006
192.168.0.0 后面2位,可以动的话,那么我们就可以的,在这个192.168.0.0/16的子网下,再去划分子网了。有了我们创建好的专有网络以后,然后我们再去,创建几个机器去,然后这次我们把创建的机器。然后可以看到,选择专有网络以后,后面还有,可以选择,这个网络的下的哪个子网对吧.可以看,可以看到我们在,我们默认的那个专有网络中去ping。有了子网,我们去看,可以看到在阿里云的管理后台,就有个。然后这个时候要注意,就是,我们创建的专有网络之间,然后,我们再看,可以看到工具很方便,可以显示出,
2024-06-20 10:35:50
296
原创 公有云_私有云_云平台_服务器安全组_按量付费_vpc私有网络/专有网络原理---分布式云原生部署架构搭建005
然后选择操作系统centos,然后选择.40g硬盘,可以看到就一毛钱一个小时,可以用来做实验肯定没问题.停机收费很便宜.然后如果平时不用,按量付费的时候,就可以关闭机器,内容磁盘不消失,但是价格很便宜.来看一个如何开通阿里云的ecs服务器,非常简单,没什么可说的.继续就可以了,可以看到,一定要分配公网ip,因为需要远程连接.混合云,一部分业务放到公有云上,一部分放到私有云上.然后去充钱,最少从100,然后就可以用了.配置以后就开通好了实例,机器,然后。开通好了,就可以直接去连接了.
2024-06-19 09:12:40
354
原创 Harbor本地仓库搭建004_Harbor配置管理功能_分布式分发功能_仓库管理_用户管理_垃圾清理_审查服务_项目定额---分布式云原生部署架构搭建00
此外，通过标签和权限管理功能，Harbor还可以限制对特定镜像的访问和操作，确保镜像的安全性和完整性。Harbor的审查服务是其企业级特性的重要组成部分，通过提供详细的日志记录和审计功能，增强了系统的安全性和可管理性。同时，标签还可以用于过滤镜像，以便更快地找到所需的镜像。记录操作日志：Harbor可以记录用户对仓库的操作和活动日志，这些日志详细记录了用户的操作行为，如镜像的上传、下载、删除等。综上所述，Harbor的标签功能为Docker镜像管理提供了强大的支持，使得镜像的管理更加高效、安全和可追溯。
2024-06-19 09:12:21
282
原创 Harbor本地仓库搭建003_Harbor常见错误解决_以及各功能使用介绍_镜像推送和拉取---分布式云原生部署架构搭建003
然后点开这个镜像,可以看到对应的artifacts还有,他的tags,我们设站点1.15.12对吧。可以看到添加上,忽略的域名就可以了,让docker,对我们的地址,忽略https检测。首先我们去登录一下harbor,但是可以看到,用户名密码没有错,但是登录不上去。是因为,我们用了负债均衡,nginx会把,负载均衡进行,随机分配,访问的。的business这个项目,可以看到在镜像仓库中,就有了。登录以后,可以看到项目中,我们可以创建一个项目,比如。可以看到我们给,负载均衡,分发的时候,添加上。
2024-06-18 09:52:39
2834
原创 Harbor本地仓库搭建002_Harbor负载均衡节点搭建_nginx安装配置_harbor安装---分布式云原生部署架构搭建002
Docker：Docker是一个开源的应用容器引擎，它允许开发者将他们的应用及其依赖打包到一个可移植的容器中，然后发布到任何流行的Linux或Windows操作系统的机器上。mv /opt/docker-compose-linux-x86_64 /usr/local/bin/docker-compose 将安装包解压以后,移动到对应目录。就需要在对应的system32/etc/driver ...找一下吧,忘记了,找到对应的hosts,修改一下就可以了。
2024-06-18 09:39:11
4163
原创 Harbor本地Docker镜像库001_Harbor介绍_高可用架构部署_机器配置说明_redis_nfs-utils_postgresql---分布式云原生部署架构搭建001
两个harbor的镜像文件,资源文件,可以存放在ceph中,nfs中,或者gluesterfs中。harbor,用来做一个本地的Docker镜像库,可以存放私有的镜像这样下载比较快,另外。然后,添加完数据库以后,然后执行/l可以查看一下数据库,使用exit可以退出,然后。然后这两个harbor使用负载均衡,,负载均衡用nginx做,做高可用,然后。这样我们的redis,postgresql,nfs就构建好了.然后我们再来看。然后再去,initdb,先去初始化postgresql 然后再去。
2024-06-17 16:56:03
71
原创 纯手动搭建大数据集群架构_记录024_集群共享大数据盘挂载挂盘_三台机器共享大数据盘的不同文件夹_麒麟v10_arm架构_开启系统联网---大数据之Hadoop3.x工作笔记0184
我们是在dashujupan04目录下,创建了hadoop目录,然后下面又创建了hadoop158目录,我们把这个目录挂载到本机的/data目录上。上节说了,大数据部署的时候,对方提供了三台机器,但是三台机器自身的系统盘都非常小,没办法在上面安装,我们的软件和中间件.这样就可以了,这样就相当于,我们三台机器,每台机器中都有个data目录,然后这个data目录,其实是对应着,同一块硬盘.然后我们再来看看,如果我们的机器,不能联网的话,有可能是本身系统是可以联网的。可以看到,这样就可以了。所以我们去配置一下.
2024-06-13 16:39:32
45
原创 纯手动搭建大数据集群架构_记录023_麒麟系统v10_ARM架构集群搭建02_ARM架构hadoop-3.3.6安装_安装Hbase_zookeeper---大数据之Hadoop3.x工作笔记0183
而zookeeper是用java编写的,所以只要java,安装了arm架构的,那么,zookeeper是不区分平台架构的.由于,上面搭建完以后,我们用的是之前x86架构的hadoop所以,一直报错namenode 起不来,报错。打开以后然后去搜索apache,然后找到hadoop,然后找到aarch64架构的hadoop,然后下载。下载以后,然后上传到服务器,去解压,然后跟之前安装hadoop一样的.再去,按照上面的配置,然后再去看hbase的安装,hbase的安装,需要先安装zookeeper。
2024-06-13 09:21:45
221
原创 纯手动搭建大数据集群架构_记录022_麒麟系统v10_ARM架构集群搭建01_ARM架构jdk安装_集群架构_NameNode is stilling---大数据之Hadoop3.x工作笔记0182
最近客户给了个集群,三台机器,但是,却是ARM架构的,第一次安装arm架构的机器,对于软件,有一定的要求,这个过程中,主要是.我打算把,hadoop,每个机器,安装到对应的文件夹中去.那么这个时候,配置hadoop的etc/hadoop文件夹中的。这个位置,其实就是安装的openjdk. 这里要注意openjdk是有问题的, 他默认安装上了,但是没有清晰的指定。并且要指出的是,这三台机器,自身的硬盘都很小,只有一块9.8T的盘,但是这三台机器都挂到这个盘上面去了。
2024-06-12 16:47:48
183
原创 瀚高数据库迁移工具_报错_migration-4.1.4-2023-11-23.zip_MSVCR120.dll缺失_用DirectXRepair39.zip修复---国产瀚高数据库工作笔记005
打开以后找到工具选项,然后找到,实验室,这里有个C++强力修复,打钩。这里解压以后有个win8,win10的修复,直接修复就可以了.mysql 以及oracle 等 迁移到瀚高中去.dll修复工具,以及 数据迁移工具会放到资源中。不能从瀚高把数据迁移到mysql等中去。注意这个时候使用这个修复软件就可以了.使用瀚高数据库迁移工具,目前支持,从。20240612_143928补充。就可以进行修复了等待执行完成。这个文件我上传到资源中去.再去使用就可以正常使用了.可以看到缺少这个dll。然后点击确定就可以了。
2024-06-12 15:18:26
152
2
原创 人工智能_机器学习097_PCA数据降维算法_基于特征值特征向量提取主成分_数据去中心化_特征值_特征向量_EVD特征值分解原理和代码实现---人工智能工作笔记0222
在协方差矩阵的分析中，这些向量代表了数据中方差较大的轴，通常用于主成分分析（PCA）中的数据降维，其中数据可以沿着这些特征向量（主成分）进行投影以减少数据的维数[^1^][^3^]。随着你沿着主成分的顺序移动，每个后续的主成分解释的方差通常会减少，因为它们捕捉的是数据中剩余的变化。PCA找到的主成分（PCs）是这些子空间的正交基向量。3. `(eigen/eigen.sum())` 是将数组 `eigen` 中的每个元素除以数组元素的总和，得到一个新的数组，其中每个元素都是原数组对应元素与总和的比值。
2024-06-06 14:00:39
213
原创 人工智能_机器学习096_PCA主成分分析降维算法_PCA降维原理_介绍和使用_模式识别_EVD特征值分解_SVD奇异值分解---人工智能工作笔记0221
这个对角矩阵就是奇异值矩阵，它的对角线上的数字就是奇异值。- **协方差的计算方法**：协方差的计算公式为 $Cov(X,Y) = E E其中 $X$ 和 $Y$ 是两个随机变量，$E $E分别是它们的期望值。- **协方差的应用场景**：协方差则用于分析两个变量之间的关系，例如，在金融领域，协方差可以帮助投资者了解不同股票之间的相关性，从而做出投资决策。总结一下，特征值分解和奇异值分解都是矩阵分解的方法，它们可以帮助我们找出矩阵的主要特征或者将矩阵压缩到更小的规模，同时尽可能地保留原矩阵的信息。
2024-06-05 11:56:35
189
原创 纯手动搭建大数据集群架构_记录021_麒麟系统v10版_x86/64架构安装hadoop集群_修改SSH端口号_调整脚本端口---大数据之Hadoop3.x工作笔记0181
如果是arm架构的系统,就需要安装arm架构的java,jdk,对应的hadoop应该也需要arm架构的,这个。hadoop集群,那么这时候,还是有些地方需要修改的,大部分,跟之前使用centos,去安装。hadoop集群没有区别,直接参考以前的博文就可以了,并且,有区别的地方,已经在。但是这一次,安装的时候,ssh端口不是默认的22,给改成了22022了,这个时候。首先,如果想要修改ssh的端口,可以看到按照上面这样修改就可以了,然后。还没有尝试,尝试以后,给大家说.对应的博文中,记录了.
2024-05-31 11:50:05
192
原创 人工智能_大模型085_AI产品设计02_MASTERGO_传统原型工具_DRAW_FIGMA_MOTIFF_极简UI设计原则_快速Demo_开发_迭代_KANO模型---人工智能工作笔记0220
思考：懂代码的我们，可以用 [Gradio](Gradio)，快速搭出一个主流程 demo，供用户/客户体验，验证需求。如果对视觉要求高，还需要特别做视觉设计。否则套模板就差不多。对全栈来说，三件事不分先后，而是彼此交错。
2024-05-30 09:03:57
101
原创 Centos系统_Java进程_file:/dev/./urandom -jar /app/app.jar_CPU占用100%_kill -9 无法杀掉_docker关闭---Linux工作笔记072
最近发现机器中cpu占用百分之百,系统启动的时候,会自动启动,一堆的。最后发现是docker的原因,只需要把docker关闭就可以了,原来。app.jar文件,并且,使用kill -9 无法杀掉进程.使用以上的命令来关闭docker。系统残留的docker.
2024-05-29 15:17:33
76
原创 人工智能_大模型084_AI产品设计01_设计原则_Copilot_原型设计_收集反馈_避免欺骗_UE/UX的设计AI设计工具_USEGALILEO_V0---人工智能工作笔记0219
向导 - 提供线索，帮助用户理解 AI 的工作原理以及如何与之协作。支持 Text to UI 和 Image to UI，设计精美。色彩模式 - 提供视觉提示，帮助用户识别内容中的 AI 特性。否则套模板就差不多。模版 - 向用户提供结构化的模版，并且可以用 AI 预填写。当已经定义好产品的方向和商业模式，接下来就可以设计产品了。最受欢迎的专业原型设计工具，非常非常强大，学习成本稍高。在设计产品的过程中，时不时检查，是否这些原则全部符合。这个是一个人做的一个基于RAG的专有知识库的模型.
2024-05-29 09:40:08
72
原创 人工智能_大模型083_大模型时代机遇02_提示词优化开发工具_立项_计量模式_真实需求_5why法---人工智能工作笔记0218
上一节我们提供了一个非常好用的提示词,优化开发的,调试工具vellum 接到一个需求，问为什么有这需求。得到答案后，再问为什么会有这样的答案，以此类推，直至找到根本性的核心需求。
2024-05-29 09:39:47
460
原创 人工智能_大模型082_大模型时代机遇01_机会在哪里_大模型落地现状_懂业务&懂AI&懂编程最有竞争力_面临问题和挑战_AI下的编程变化---人工智能工作笔记0217
2. 基础大模型卷不起：基础大模型的竞争瞬间白热化，技术壁垒迅速下降，且用户客户迁移成本极低，最后会变成被包养的战略常备资源，而不是直接盈利点。1. AI 原生应用没机会：大模型没有创造新的使用场景，只是旧场景的增强，创业者几乎不可能撼动旧霸主的地位，更难阻挡大模型升级带来的反噬。2024 的 AI 应用爆发，值得期待。2. 有研发能力的民企，要么已经找到自己的方向，要么已决策必须动手，都开始内部升级/招兵买马。3. 没研发能力的民企，意识先进者已经用大模型赚钱了，和外包合作实现更好的自动化，甚至产品化。
2024-05-28 08:53:23
277
原创 人工智能_大模型081_AI产品部署和交付11_大模型安全管控方法_大模型内置提示词使用_Prompt破坏提问_互联网信息服务算法_大模型备案法规---人工智能工作笔记0216
可以去看一下.可以看到内置提示词,内置了,大模型自己可以使用的,比如定义了tools工具,还有指定了知识更新时间等待.另外大模型一般还会内置了一些提示词,比如,你问他的知识更新到了几号,他本身是不知道的,这个需要内置提示词,以及对每个类别的说明.,这个是接口返回的,对输入内容的,价值倾向的判断,是否合规的判断.然后使用openai的Moderation的接口,把输入内容给他,可以看到。可以看到还是给出了答案,但是仅限于这个答案还是合理的,但是,有些gpt可以,比如,正常文字不行,但是。
2024-05-28 08:52:37
202
原创 人工智能_大模型080_AI产品部署和交付10_基于本地weaviate向量数据库搭建Verba项目_Verba源码分析_pdf内容提取_向量化检索_接口封装---人工智能工作笔记0215
然后:tiktokenchunker.py是用来所token统计的,然后manager.py是来做管理的,然后。然后这里reader,有对pdfreader.py对pdf进行处理的,里面有对pdf中的图片等进行处理的。拿到以后我们把刚刚申请的在线的向量数据库的地址,和key拿到,填写到这里。然后下载代码以后,我们也可以看一下他的代码,可以看到左侧打开,可以看到。可以看到启动以后,再去上传一个文件,再去发起提问.可以看到也是可以的.这个地址,默认是没有的,其实没有,我们可以用它提供的一个.
2024-05-27 09:12:27
233
原创 人工智能_大模型079_AI产品部署和交付09_基于云端部署大模型_部署开源LLM项目Dify_安装本地向量数据库weaviate---人工智能工作笔记0214
比如这里我们创建一个text generator生成的,应用,我们随便起个名字,然后点击create。然后docker中有个nginx,然后直接点开,启动,打开浏览器,然后。这个就是构建好的,本地的dify,然后这个,可以注册一下,然后登录。可以看到可以去创建应用,做agent智能体,聊天机器人,工作流等.选择一下gpu,然后直接就可以部署了,点击deploy就可以了.注意最后是...,最前面是---,就是这样的,这两个部分带着.可以看到部署以后,就有了demo,案例,还有api接口等等.
2024-05-27 09:11:44
241
原创 人工智能_大模型078_AI产品部署和交付08_基于VLLM部署大模型_FastAPI搭建API服务_VLLM分布式多卡推理_使用PostMan请求_VLLM源码部署---人工智能工作笔记0213
可以看到openai,这里很多接口调用都是,v1/chat/completions这个接口,那么其他的模型,几乎都提供这个接口,因为。这个token-abc123,就是我们指定的一个令牌,这个是需要在,authorzation中去指定的,然后对于vllm的源码安装,可以看到,可以直接使用git clone去克隆一份vllm的源码,然后去执行。然后关于vllm相关的论文,可以在vllm官网有个paper,论文,这个可以看,写的很细致.执行,下面这个命令,这里运行的是之前我们下载的YI-6B-Chat模型,
2024-05-24 15:05:01
254
瀚高数据库连接开发工具-2024-hgdbdeveloper.zip
2024-06-29
datax插件-瀚高数据库支持插件-highgowriter.zip
2024-06-29
datax插件-瀚高数据库同步支持插件-highgoreader.zip
2024-06-29
瀚高数据库迁移工具2024版.zip
2024-06-12
MSVCR120.dll缺失-瀚高数据迁移工具修复DLL.zip
2024-06-12
Semantic-Kernel-MyPlugins.zip
2024-04-10
highgowriter-highgoreader-dataxcode.zip
2024-04-07
docker-compose-linux-x86-64-v2.26.0.zip
2024-03-29
docker-compose离线版.zip
2024-03-29
ChatGLM-6b-int4基础模型文件.zip-这个是除了比较大的文件的其他文件-其他大的模型文件可以在清华云下载
2024-02-29
nifi-p12-store.zip 这个文件就是nifi-1.23.2今年最新8月份出的最新版需要的加密文件
2023-10-08
瀚高DB企业版最新版连接操作工具2023.zip
2023-07-21
瀚高DB企业版最新6.0.4官方安装教程.zip
2023-07-21
NIFI-MySqlToMySql增量同步数据实时采集-实现了日期类型-以及空值处理-插入已存在变更新-更新未存在变插入.zip
2023-06-20
NIFI1.21.0-大数据同步处理模板-MysqlToMysql增量同步-单表-处理日期-空值数据.zip
2023-06-20
NIFI1.21.0-Mysql和Postgresql到MysqlHbase-全量指定库和表同步到Mysql和Hbase.zip
2023-06-20
NIFI大数据处理-PostgresqlToMySql指定表多表-CDC增量数据实时同步.zip
2023-06-12
K线理论-付费课程-实战经验-总结学习手册-2023-05-29.zip
2023-05-29
NIFI大数据模板-MySqlToPostGresql数据分页实时采集-带分页.zip
2023-05-25
NIFI大数据模板-HbaseToMysqlByPhoenix-实时数据同步带分页.zip
2023-05-25
NIFI模板PostGreSqlToHbaseByPhoenix-数据从PostGresql实时同步到Hbase-带分页.zip
2023-05-25
NIFI大数据模板-PostgresqlToHbase数据实时采集-带分页.zip
2023-05-22
大数据Nifi处理-MySqlToSqlServer数据分页实时同步.zip
2023-05-19
MySqlToHbase数据分页导入到Hbase.zip
2023-05-16
大数据处理NIFI模板-MySqlToMySql增量数据实时同步-利用Binlog实时同步数据.zip
2023-05-06
Nifi模板-PostGreSqlToMySql数据分页实时采集-带分页.zip
2023-05-06
2023自己实操-验证过的-通达信公式-胜率很高-神技-趋势+底部钝化+底部结构+选股+风口-一整套-.zip
2023-04-28
整理了好久-2023最新Java面试题-如果你在找工作-希望能帮到你了
2023-04-28
2023-04-28最新-自己封装整理-可直接使用-亲测可用-多模态AI合集-ChatGPT4-ChatGpt3.5.zip
2023-04-28
大数据Nifi模板-Mysql数据分页同步-实现了分页功能-MySqlToMySql数据分页实时采集-带分页功能.zip
2023-04-24
大数据nifi模板,用来实时从mysql数据中读取数据到另一个mysql的数据库中
2023-04-24
文心一言解读-及应用方向解读2023-04-19PDF.zip
2023-04-19
ChatGpt2023年研究框架-2023-04-19.zip
2023-04-19
nacos-server-1.1.4 这个下载以后可以直接使用
2023-03-16
xsync 脚本将文件同步到大数据集群中的所有机器
2023-02-23
利用MybatisPlus来实现对表的水平分表,全自动,可以首先判断表是否存在,不存在创建表
2022-08-22
idl编译jar包模板工程.zip
2022-08-04
在非spring注解类中使用spring容器中的bean_普通类中使用yml配置文件中的配置信息
2022-07-25
Quartz动态创建Job,Job中含有初始化参数,执行job的时候报错,怎么解决
2022-06-17
一个软考高级,信息项目管理师的问题,想不明白..希望大家来解惑
2022-04-08
android中intent传值的问题,数据都串了,很奇怪
2021-06-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人