- 博客(27)
- 问答 (1)
- 收藏
- 关注
原创 书生大模型学习笔记9 - LMDeploy 量化部署
lmdeploy lite auto_awq: lite这是LMDeploy的命令,用于启动量化过程,而auto_awq代表自动权重量化(auto-weight-quantization)。/root/learning/InternLM/XTuner/merged_20b-w4a16-4bit: 这是工作目录的路径,用于存储量化后的模型和中间结果。–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集,这里使用的是’ptb’(Penn Treebank,一个常用的语言模型数据集)。
2024-08-19 11:49:54
291
原创 书生大模型学习笔记5 - 提示词工程实践
LangGPT 是 Language For GPT-like LLMs 的简称,中文名为结构化提示词。LangGPT 是一个帮助你编写高质量提示词的工具,理论基础是我们提出的一套模块化、标准化的提示词编写方法论——结构化提示词。我们希望揭开提示工程的神秘面纱,为大众提供一套可操作、可复现的提示词方法论、工具和交流社群。我们的愿景是让人人都能写出高质量提示词。LangGPT社区文档:https://langgpt.ai。
2024-08-08 22:18:26
834
原创 书生大模型学习笔记6 - InternLM + LlamaIndex RAG 实践
安装 Llamaindex下载 Sentence Transformer 模型下载 NLTK 相关资源我们在使用开源词向量模型构建开源词向量的时候,需要用到第三方库 nltk 的一些资源。正常情况下,其会自动从互联网上下载,但可能由于网络原因会导致下载中断,此处我们可以从国内仓库镜像地址下载相关资源,保存到服务器上。
2024-08-06 21:35:50
752
原创 书生大模型学习笔记4 - 模型的部署
LMDeploy 已经支持了 InternLM-XComposer2 系列的部署,但值得注意的是 LMDeploy 仅支持了 InternLM-XComposer2 系列模型的视觉对话功能。InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型,其擅长自由形式的文本图像合成和理解。LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。Streamlit web运行。创建 cli_demo.py。
2024-08-05 13:02:16
914
原创 书生大模型学习笔记2 - Python
1: continue: 继续运行到下一个断点2: step over:跳过,可以理解为运行当前行代码,不进入具体的函数或者方法。3: step into: 进入函数或者方法。如果当行代码存在函数或者方法时,进入代码该函数或者方法。如果当行代码没有函数或者方法,则等价于step over。4: step out:退出函数或者方法, 返回上一层。5: restart:重新启动debug。
2024-08-02 22:22:22
314
原创 JavaScript 高质量编码要点笔记
原文来自 编写高质量JavaScript代码的基本要点,本文为经过整理之后的笔记全局变量问题```javascriptvar a = 5;function func(){ b = 6;}```不使用没有声明的变量,使用 var 声明使用var创建的变量不能被delete,直接使用的全局变量可以被delete单var形式,提供了一个单一的地方去寻找功能所需要的所有局部变量var a
2016-11-21 11:17:10
483
1
原创 Mycat分库分表
mycat分片规则规则种类,在rule.xml文件中<table name="t_config" primaryKey="id" dataNode="dn1,dn2" rule="规则名" />sharding-by-intfile 分片枚举rule1 固定分片hash算法 auto-sharding-long 范围约定 mod-long 取模 sharding-by-date 按日期(
2016-10-21 17:12:54
2481
原创 Linux下Mycat安装配置和使用
mysql安装下载mysql【百度云】tar -zxvf mysql-5.6.32-linux-glibc2.5-x86_64.tar.gz 解压把mysql文件夹移动到 /usr/local/ 下mv mysql-5.6.32-linux-glibc2.5-x86_64 /usr/local/mysql创建mysql用户和组groupadd mysqladduser -r -g mysq
2016-10-20 15:07:13
27954
8
原创 java在linux下新建文件夹
java在linux下新建目录需要先获取权限File f=new File("/home/hay");f.setWritable(true, false); //设置写权限,windows下不用此语句f.mkdirs();
2016-10-14 17:58:29
17824
6
原创 python模块win32com 实现数据库表结构自动生成word表格
下载win32模块下载链接连接mysqlimport MySQLdbdb_host = ""db_port = 3306db_name = ""db_user = ""db_pwd = ""db = MySQLdb.connect(host=db_host,port=db_port,user=db_user,passwd=db_pwd,db=db_name,charset="utf8")
2016-08-29 13:56:46
4984
3
原创 kettle安装使用
下载kettile安装kettle前必须要装了java,如果系统内存大于4G,最好装64位的 下载链接解压之后根目录下找到Spoon.bat文件,用编辑器打开,找到下面代码PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=1024m"-Xms:设置JVM初始内存 -Xmx:设置JVM最大可用内存 -XX:MaxPe
2016-07-08 15:26:42
4845
原创 centos6.5安装配置spark
安装java下载jdk解压 tar -zxvf jdk-8u91-linux-x64.tar.gz设置JAVA_HOME:修改配置文件vi /etc/profile,最后一行添加以下代码export JAVA_HOME=/usr/java/jdk1.8.0_91 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.
2016-06-28 18:12:39
6449
原创 Hadoop-2.7.2在Linux(centos6.5)上安装配置
下载Hadoop-2.7.2官方下载地址百度云下载地址下载JAVA64位百度云下载VMware启动linux注意事项:VMware设置网络为nat模式linux设置启动后自动连接网络 方法一:修改配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0,将ONBOOT=no 改成 yes 就表示开机后默认链接
2016-06-28 17:28:59
2736
1
原创 idea配置spark开发环境时产生的错误总结
错误一null>bin>winutils.exe not found这种情况下只是需要winutils.exe文件即可,不需要下载所有hadoop winutils.exe下载链接 然后放在hadoop/bin文件夹下,环境变量加上HADOOP_HOME错误二build Artifacts时报错java.lang.outofmemoryerror配置时output,因为运行环境中已经有相关包,所
2016-06-28 14:28:42
3066
原创 shell脚本编写,实现爬虫挂掉后重启
首先我说一下需求我有一个java写的爬虫,需要运行在linux后台,爬虫分为服务器端和客户端后台运行爬虫linux运行jar文件 java -jar ./spider_server.jar 后台运行:nohup java -jar ./spider_server.jar > server.log 2>&1 &使用nohup命令,然后把日志信息输出到server.log中如果直接使用 java -j
2016-06-23 17:42:57
1707
原创 xshell端口转发,plsql连接远程oracle
xshell端口转发首先用xshell连接上远程linux主机点击xshell窗口下’查看’>’隧道窗格’,底端出现如下窗口 点击右键>添加,填写端口转发信息 请求本地的5568端口时,将请求转发到主机192.168.0.142的1521端口,5568是随意设置的,1521是目标主机中oracle的端口号 左边圆点为绿色即代表转发成功plsql远程连接oracle下载plsql和
2016-06-17 10:36:29
7912
1
原创 Linux安装使用mongodb
下载wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel55-3.2.7.tgz解压tar -zxvf mongodb-linux-x86_64-rhel55-3.2.7.tgz新建数据存放目录mv mongodb-linux-x86_64-rhel55-3.2.7 mongodb-3.2.7mkdir mongodb-3.2
2016-06-16 15:10:24
1789
原创 eclipse下开发mapreduce需要导入的jar包
hadoop-2.7.2/share/hadoop/mapreduce下的所有jar包(子文件夹下的jar包不用)hadoop-2.7.2/share/hadoop/common下的hadoop-common-2.7.2.jar
2016-06-16 14:26:48
13196
1
原创 python 爬虫抓取19楼租房信息
查看19lou.com的Cookiechrome中打开19lou.com,按F12可以打开开发者工具查看 不获取Cookie会导致爬取网站时重定向而抓不到内容定义headersheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1', '
2016-05-21 17:39:33
1867
原创 JavaScript学习笔记5
Object类型var person = new Object();person.name = 'Jayson';//对象字面量表示法,不会调用Object构造函数(Firefox3及更早版本会)var person = { name : 'Jayson'};var student = {};student.name = 'Jayson';//访问时可以使用两种表示法pers
2015-08-11 19:39:55
366
原创 JavaScript学习笔记4
变量包含两种不同数据类型的值基本类型值(undefined,null,boolean,number,string) 引用类型值(object) 例 obj1,obj2 引用了同一个对象 //访问变量有按值和按引用两种方式var obj1 = new Object(); var obj2 = obj1;function setName(obj){ //参数只能按值
2015-06-22 19:54:29
369
2
空空如也
kNN分类算法中k的取值如何确定?
2016-04-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人