- 博客(22)
- 收藏
- 关注
RSS订阅原创 关卡1-2：Python关卡
此时会有弹窗提示输入ssh链接命令，回车后还会让我们选择要更新那个ssh配置文件，默认就选择第一个就行（如果你有其他需要的话也可以新建一个ssh配置文件）。点击VSCode侧边栏的“Run and Debug”（运行和调试），然后点击“Run and Debug”（开始调试）按钮，或者按F5键。打开vscode，点击左侧的extensions菜单，在搜索框中输入remote-ssh,选择第一个，点击“install”点击代码文件的左侧，要打断点的行，点击后，出现红点，即可。选择后，执行一遍，确认可以运行。
2024-07-21 00:25:32
836
原创 关卡1-1：Linux + InternStudio
InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持，为开发者提供开箱即用的大语言模型微调环境、工具、数据集，并完美兼容 🤗 HugginFace 开源生态。端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。那么我们使用开发机为什么要进行端口映射呢？
2024-07-14 00:19:08
903
原创 数据产品赋能数字化转型
数据产品是指利用现代信息技术，如大数据、云计算、人工智能等手段，对原始数据进行采集、清洗、整合、分析，并封装成易于使用的服务或应用的产品形态。高度集成化，将复杂的数据处理流程封装，提供简单易用的界面；智能化，内置高级分析算法，能自动发现数据规律和洞察；定制化，可根据不同行业和企业需求进行灵活配置。
2024-06-27 10:29:02
934
原创 lmdeploy部署chatglm3模型并对话
模型会下载到 /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k。使用30% A100 来运行chatglm3模型，采用lmdeploy来启动。启动后，运行在127.0.0.1的23333端口，使用的是fastAPI服务器。直接采用lmdeploy chat启动并对话交互。注：具体的API可以访问23333端口来查看。requirenments.txt 内容。用于从魔搭下载chatglm3模型。通过curl来方式这个api。
2024-06-26 00:16:07
373
原创 7-OpenCompass 大模型评测实战
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-06-11 18:43:02
594
原创 6-LAgent & AgentLego 智能体应用搭建
幻觉：模型因为训练数据的不能全覆盖性，导致模型可能会生成虚拟信息时效性：用于模型训练的数据过时了，无法反馈最新的趋势和信息等。可靠性：当模型遇到复杂任务式，可能出现错误输出，无法被信任智能体定义智能体能够感知环境中的动态条件，进而能采取动作影响环境，同时能够运用推理能力理解信息、解决问题、生成推断、决定的动作。智能体的范式：AutoGPT、ReWoo、ReAct这里我们使用天气查询API,为了获得稳定的天气查询服务，我们首先要获取 API KEY。
2024-06-10 21:41:42
610
原创 5-LMDeploy量化部署 LLM 实践
同样，在https://studio.intern-ai.org.cn/console/instance上做实验，使用50%的A100来实验。
2024-06-08 23:38:47
362
原创 4-XTuner微调LLM1.8B模型，实现模型自我认知的改造等
使用书生·浦语的XTuner对书生·浦语 LLM 1.8B模型进行微调，实现其自我认知的改造；并将微调合并后的模型提交到openxlab仓库中；基于书生·浦语LLM1.8B，训练一个llava模型，能够对图片进行解读（注意不是生成图片）
2024-06-07 11:15:26
770
原创 2-轻松玩转书生·浦语大模型Demo
整个过程，建议直接使用0.5卡的，实验比较快一些。通过这次实战，熟悉了studio平台的使用，熟悉了相应的工具，收获蛮大。
2024-05-26 23:36:04
767
原创 1-书生·浦语发展历史（截止202405）及其开源工具链
全链路的开源体系，是覆盖MLOps的全生态的链路的工具链，支持从数据获取、预训练、微调、部署、模型评测、场景应用支撑的工具链条。在github上的项目：AI工程也是工欲善其事，必先利其器的一个大工程，能够从某种程度、某个方面降低人工智能工程化的门槛，相信业内也会出现类似的更多、更好的平台，为人工智能的市场化应用提供有力支撑。
2024-05-24 17:44:46
979
1
原创 TEXT2SQL工具vanna本地化安装和应用
在待连接的mysql数据库的，demodb数据库中新建表和记录，当然可以在不同数据库里面创建表，并插入不同的数据，根据实际情况可以调整SQL，并调整后续步骤的python代码中连接数据库的内容。这里的脚本chroma使用的local的模型，运行了以下脚本后，会在运行的目录下生成chroma.sqlite3文件，存放训练的数据，别删了，删了那训练数据就没了，要重新来。这里使用的是centos7 ，并有一块11G显存的GeForce GTX 1080 Ti，本文编制的时候，使用的是vanna 0.5.4版本。
2024-05-10 18:48:09
2705
15
原创 在demo数据集上微调PaddleSpeech
在centos7 (CentOS Linux release 7.6.1810 (Core))下，git clone paddlespeech项目，checkout r1.4.1，并安装微调中文环境，进行微调。微调PaddleSpeech遇到的This dataset has no examples与解决。以上在运行run.sh的时候，报错This dataset has no examples。下载后解压后，有200个wav和lables.txt文件。预训练的hifigan 模型。
2024-04-27 09:32:31
1285
2
原创 语音处理时centos7安装ffmpeg
FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。FFmpeg在Linux平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括Windows、Mac OS X等。
2024-04-26 17:24:16
344
1
原创 OLLAMA部署qwen:7b,与fastgpt集成
它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。这里使用的是4.6.8的版本，这里是从github上拉了分支，直接部署在操作系统上的，如果是docker安装，那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注：本文章默认之前fastgpt都已经配置好了，这次只是新增一个qwen:7b的模型对接。在渠道清单中，点击刚才创建的渠道条目的“测试”按钮，如果配置没问题，那么测试可以通过。
2024-04-18 16:31:04
2240
1
原创 FLink-CDC部署（S4:flink-cdc配置）
如果没什么异常，那么可以登录doris里面，看app_db下有新生成了表，且已经将数据同步过来，接着可以在mysql中做数据更新、删除、插入等操作，会发现，数据会同步更新到doris中。其中table.create.properties.replication_num设置成1，默认是3，因为这里的doris BE只有一个节点。在flink-cdc下执行如下，提交CDC任务，其中的cdcjob.yaml即为CDC的配置文件，可以使用绝对路径。具体的日志，也可以在flink的log目录下去查看。
2024-03-26 16:44:07
1183
2
原创 FLink-CDC部署（S3:Flink部署）
在普通用户下(这里用datatech,HOME=/home/datatech)解压(直接在$HOME下解压)，解压后生成flink-1.18.1 目录，做一个软链接，方便后续换版本，同时也可以少输入一些内容，根据习惯，也可以不做。直接到https://flink.apache.org去下载编译好的tar包即可，这里用的是1.8.1的版本。包名 flink-1.18.1-bin-scala_2.12.tgz。可以修改下JobManager和TaskManager的内存。日志在flink/log下。
2024-03-26 16:19:31
500
原创 FLink-CDC部署（S2:mysql复制配置）
在使用 Flink CDC 进行同步时，你还需要在 Flink SQL 客户端或作业中提供相应的 MySQL 连接参数，包括 URL、用户名、密码以及可能的表过滤规则等。这样，Flink CDC 就能通过 JDBC 接口连接到 MySQL 并开始监听指定表的变更事件。binlog-format=row # 使用 ROW 格式，以便记录每行数据的更改。log-bin=mysql-bin # 开启二进制日志，并设置日志文件前缀。注意，这里创建的表要有主键，不然同步的时候不能成功。创建用于同步的数据库和表。
2024-03-26 16:04:28
730
原创 FLink-CDC部署（S1:Doris部署）
这里使用flink-cdc 3.0.1+flink 1.8.1+doris 2.1.0+mysql来实现，从mysql同步到doris。flink不要使用1.9.X，因为1.8.x的配置和1.9.x的配置不一样，导致flink-cdc无法兼容。
2024-03-26 15:56:20
633
原创 flume采集日志文件的问题
使用flume1.9.0采集滚动日志，配置：ag1.sources = s1ag1.channels = c1ag1.sinks = k1ag1.sources.s1.type=execag1.sources.s1.command=tail -F "/home/flume/logtest/logtest-20190518.log"ag1.channels.c1.type=memo...
2019-05-18 11:56:53
1532
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人