铭绵羊

2> ChatGLM2-6B 在web_demo.py和web_demo2.py中都把tokenizer和model的路径修改为本地chatlm2-6b的路径。<1> chatglm2-6b chatglm2-6b模型在目录的config.json文件中修改"_name_or_path"**注意：**此处可能会出现cuda和pytorch不匹配的问题（如下图），**例外：**当然还有遇到的上传文档显示报403的错误。修改模型的相关内容（通过WebIDE进行修改）1、白嫖阿里云的算力。

SonarQube的安装

利用Jenkins实现CD

利用Jenkins实现CI

DevOps-将代码推送到gitlab

jenkins的配置

jenkins的安装

利用docker安装gitlab

1、节点距离1）往上找共同的节点，求和。2、文件上传副本选择

1、HDFS概述HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，有很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS适合一次写入，多次读出的场景，且不支持文件的随机修改。不支持并发写入、文件随机修改，一个文件只能有一个写，不允许多个线程同时写；仅支持数据append（追加），不支持文件的随机修改。2、HDFS之shell1）-ls：显示目录信息hadoop fs -ls /2）-

1）NameNode内部通信端口：80202）NameNode web端端口：98703）SecondNameNode web端端口：98684）YARN web端端口：80885）历史服务器web端端口：19888

目的：为了后续数据版本的一致性，保证多台服务器的时间是一致的。设置一台时间服务器，其他服务器同步时间服务器的时间。1）安装ntpyum install ntp -y2）时间服务器配置（必须是root用户）（1）在所有节点关闭ntp服务和自启动sudo systemctl stop ntpdsudo systemctl disable ntpd（2）在hadoop102上修改ntp配置文件（hadoop102为时间服务器）vim /etc/ntp.conf（a）修改1#restrict

目的：在web端就可以看到hadoop任务日志。1）配置yarn-site.xml<!-- 日志聚集是否启用 --><property> <name>yarn.log-aggregation-enable</name> <value>true</value></property><!-- 查看日志的路径 --><property> <name>yarn

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：1）配置mapred-site.xmlvim mapred-site.xml<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value></property><!-- 历史服务器we

1）在HDFS中创建目录hadoop fs -mkdir /input2）上传数据到HDFShadoop fs -put 待上传的数据 /input3）在web端可查看（1）hadoop102:9870（HDFS服务）（2）hadoop103:8088（YARN服务）

1）集群单点启动（1）如果集群是新集群，第一次启动需要格式化NameNodehdfs namenode -format（2）在hadoop102上启动NameNodehdfs --daemon start namenode（3）在hadoop102、hadoop103、hadoop104上分别启动DataNodehdfs --daemon start datanode（4）在hadoop104上启动SecondaryNameNodehdfs --daemon start secondaryn

1）理论规划（1）HDFS：NameNode、DataNode、SecondaryNameNode（2）Yarn：ResoureManager、NodeManager（3）NameNode、SecondaryNameNode、ResourceManager对资源的需求比较大，应该把他们三个分布到不同的机器上（4）按照hadoop官方默认的3个副本来说，最少需要3个DataNode节点，也就是3台机器（5）NodeManager主要管理的是DataNode机器上的资源，因此NodeManager和D

1）进入当前用户的家目录注意：在家目录下编写脚本文件不用配置环境变量，使用echo $PATH可查看环境变量。2）创建bin目录mkdir bin3）进入bin目录cd bin/4）创建脚本文件vim xsync.sh#!/bin/bash#1.判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exitfi#2.遍历集群所有机器for host in hadoop102 hadoop103 hadoop1

1、scp（secure copy）安全拷贝（1）scp定义scp可以实现服务器与服务器之间的数据拷贝（2）基本语法1）从一台服务器推数据到其他服务器scp 文件名 用户名@ip:/opt/soft（目标文件夹）scp -r 文件夹 用户名@ip:/opt/soft（目标文件夹）2）从当前服务器拉取目标服务器的数据scp 用户名@ip:/opt/soft/test.txt（目标文件、文件夹） /opt/sofeware(当前服务器存储地址）3）以中间服务器(hadoop103)