铭绵羊

原创 阿里云部署langchain+ChatGLM2-6B本地知识库实战加踩坑

2> ChatGLM2-6B 在web_demo.py和web_demo2.py中都把tokenizer和model的路径修改为本地chatlm2-6b的路径。<1> chatglm2-6b chatglm2-6b模型在目录的config.json文件中修改"_name_or_path"**注意：**此处可能会出现cuda和pytorch不匹配的问题（如下图），**例外：**当然还有遇到的上传文档显示报403的错误。修改模型的相关内容（通过WebIDE进行修改）1、白嫖阿里云的算力。

原创 DevOps-7、SonarQube的安装

SonarQube的安装

原创 DevOps-6、利用Jenkins实现CD

利用Jenkins实现CD

原创 DevOps-5、利用Jenkins实现CI

利用Jenkins实现CI

原创 DevOps-4、将代码推送到Gitlab上

DevOps-将代码推送到gitlab

原创 DevOps-3、jenkins配置

jenkins的配置

原创 DevOps-2、Jenkins安装

jenkins的安装

原创 DevOps-1、gitlab安装

利用docker安装gitlab

原创 十二、HDFS-NN和2NN工作机制

原创 HDFS-网络拓扑

1、节点距离1）往上找共同的节点，求和。2、文件上传副本选择

原创 十一、Hadoop之HDFS

1、HDFS概述HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，有很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS适合一次写入，多次读出的场景，且不支持文件的随机修改。不支持并发写入、文件随机修改，一个文件只能有一个写，不允许多个线程同时写；仅支持数据append（追加），不支持文件的随机修改。2、HDFS之shell1）-ls：显示目录信息hadoop fs -ls /2）-

原创 十、Hadoop相关端口号

1）NameNode内部通信端口：80202）NameNode web端端口：98703）SecondNameNode web端端口：98684）YARN web端端口：80885）历史服务器web端端口：19888

原创 九、Hadoop集群同步时间

目的：为了后续数据版本的一致性，保证多台服务器的时间是一致的。设置一台时间服务器，其他服务器同步时间服务器的时间。1）安装ntpyum install ntp -y2）时间服务器配置（必须是root用户）（1）在所有节点关闭ntp服务和自启动sudo systemctl stop ntpdsudo systemctl disable ntpd（2）在hadoop102上修改ntp配置文件（hadoop102为时间服务器）vim /etc/ntp.conf（a）修改1#restrict

原创 八、Hadoop配置日志的聚集

目的：在web端就可以看到hadoop任务日志。1）配置yarn-site.xml<!-- 日志聚集是否启用 --><property> <name>yarn.log-aggregation-enable</name> <value>true</value></property><!-- 查看日志的路径 --><property> <name>yarn

原创 七、Hadoop配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：1）配置mapred-site.xmlvim mapred-site.xml<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value></property><!-- 历史服务器we

原创 六、Hadoop测试集群

1）在HDFS中创建目录hadoop fs -mkdir /input2）上传数据到HDFShadoop fs -put 待上传的数据 /input3）在web端可查看（1）hadoop102:9870（HDFS服务）（2）hadoop103:8088（YARN服务）

原创 五、Hadoop集群启动

1）集群单点启动（1）如果集群是新集群，第一次启动需要格式化NameNodehdfs namenode -format（2）在hadoop102上启动NameNodehdfs --daemon start namenode（3）在hadoop102、hadoop103、hadoop104上分别启动DataNodehdfs --daemon start datanode（4）在hadoop104上启动SecondaryNameNodehdfs --daemon start secondaryn

原创 四、Hadoop集群规划及配置

1）理论规划（1）HDFS：NameNode、DataNode、SecondaryNameNode（2）Yarn：ResoureManager、NodeManager（3）NameNode、SecondaryNameNode、ResourceManager对资源的需求比较大，应该把他们三个分布到不同的机器上（4）按照hadoop官方默认的3个副本来说，最少需要3个DataNode节点，也就是3台机器（5）NodeManager主要管理的是DataNode机器上的资源，因此NodeManager和D

原创 三、集群分发脚本

1）进入当前用户的家目录注意：在家目录下编写脚本文件不用配置环境变量，使用echo $PATH可查看环境变量。2）创建bin目录mkdir bin3）进入bin目录cd bin/4）创建脚本文件vim xsync.sh#!/bin/bash#1.判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exitfi#2.遍历集群所有机器for host in hadoop102 hadoop103 hadoop1

原创 二、Linux远程拷贝

1、scp（secure copy）安全拷贝（1）scp定义scp可以实现服务器与服务器之间的数据拷贝（2）基本语法1）从一台服务器推数据到其他服务器scp 文件名 用户名@ip:/opt/soft（目标文件夹）scp -r 文件夹 用户名@ip:/opt/soft（目标文件夹）2）从当前服务器拉取目标服务器的数据scp 用户名@ip:/opt/soft/test.txt（目标文件、文件夹） /opt/sofeware(当前服务器存储地址）3）以中间服务器(hadoop103)

原创 一、Hadoop运行环境搭建

1、虚拟机环境准备1）虚拟机配置（1）最小系统安装需要安装环境yum install -y epel-releaseyum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop（2）设置静态IPvim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=“Ethernet”PROXY_METHOD=“none”BROWSER_ONLY

原创 Shell入门

1、脚本格式以#!/bin/bash开头1）实例 helloworld.sh#!/bin/bashecho “helloworld”2)执行bash helloworld.sh 或sh helloworld.sh 或1）chmod u+x helloworld.sh2）helloworld.sh编写的shell执行文件需要配置环境变量2、基本语法1）定义变量： 变量名=值2）撤销变量： unset 变量3）声明静态变量：readonly变量，注意：不能unset3、变量定义

原创 Linux中yum使用

1、默认系统的yum源为国外的，可以修改为yum源为国内镜像1)安装wget用来从指定的URL下载文件yum install wget2)在/etc/yum.repos.d/目录下，备份默认的repos文件cp CentOS-Base.repo CentOS-Base.repo.backup3)在/etc/yum.repos.d/目录下用wget安装yum国内镜像wget http://mirrors.aliyun.com/repo/Centos-7.repo //阿里云wget http:

原创 VMware安装CentOS7

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

转载 仅供自己使用

原创 数据结构-栈

栈// 定义一个ArrayStack 表示栈class ArrayStack { private int maxSize; // 栈的大小 private int[] stack; // 数组模拟栈 private int top = -1; // 栈顶初始化为-1 public ArrayStack(int maxSize) { this.maxSize = maxSize; stack = new int[maxSize];

原创 数据结构-链表

链表单链表添加数据分析无顺序添加有顺序添加删除单向链表中数据

原创 数据结构-使用数组模拟环形队列

使用数组模型环形队列class CircleArray { private int maxSize; // 表示数组的最大容量 private int front; //front指向队列的第一个元素，也就是说arr[front]就是队列的第一个元素front的初始值=0 private int rear; // rear指向队列的最后一个元素的后一个位置，因为希望空出一个空间作为约定，rear的初始值=0 private int[] arr; // 该数组用于存放数据，

原创 数据结构-稀疏数组

稀疏数组1. 二维数组转稀疏数组的思路：遍历原始的二维数组，得到有效数据的个数sum根据sum就可以创建稀疏数组sparseArr int[sum+1][3]将二维数组的有效数据存入到稀疏数组 // 创建一个原始的二维数组 11 * 11 //0：表示没有棋子，1：表示黑子，2：表示蓝子 int chessArr1[][] = new int[11][11]; chessArr1[1][2] = 1; che