- 博客(130)
- 收藏
- 关注
RSS订阅原创 [开源项目学习]langchain-chatchat学习笔记4
那个streamlit-chatbox目前输入只能是text，输出可以是很多种，看起来还挺方便的，发图片。这个和前面的LLM的路径，都只需要在configs下的model_config.py添加就行。emm internlm出现了很奇怪的bug，各种重复无止境循环…，其值为一个包含多个字符串的列表。网速快的时候还是挺爽的，划线画出来那个是默认路径。噢对昨天说的st中和js交互发现有人写了个包。还有不少类是空的，感觉很适合二次开发。默认的是bge-large-zh。都是调用的类中的方法。
2024-05-19 19:24:43
986
原创 [毕设记录]streamlit调用folium地图点击后返回坐标
噢对了，今天又犯了一个以前犯过的错误…接上一篇，用百度地图那个js传输数据太头疼了。但还是没解决，遂弃坑转战folium。用这个demo来收集一些数据。
2024-05-19 14:20:33
527
原创 streamlit调用百度地图
从示例中心找的代码import streamlit as st# 设置页面标题和布局st.set_page_config(page_title="地图单击拾取经纬度", layout="wide")# 定义HTML模板html_temp = """<!DOCTYPE html><html lang="zh-CN"><head> <meta charset="utf-8"> <title>地图单击拾取经纬度<
2024-05-19 00:04:10
137
原创 [开源项目学习]langchain-chatchat学习笔记3
我按照第二个教程链接，一次运行controller，openai api server，还有model worker，然后报错了。来看看fastchat是怎么部署成api的呀。可以去这些url后面加个/docs。和那些代码里面@的地方是相对应的。可以看到是使用了fastapi。我是分别在三个终端运行的。可以看看对应的接口文档，然后try it out。没写完，遇到bug没解决。然后就可以调用端口啦（我给三个命令都加上了。就都能测试，这些接口。
2024-05-18 17:58:20
353
原创 [开源项目学习]langchain-chatchat学习笔记2
要看到chat/chat对应的函数是startup.py里面的函数"""kwargs包含的字段如下：host:port:对于Langchain支持的模型：不会使用fschat对于online_api:对于离线模型：model_path: `model_name_or_path`,huggingface的repo-id或本地路径"""if worker_class := kwargs.get("langchain_model"): # Langchian支持的模型不用做操作。
2024-05-18 12:53:44
1038
原创 [毕设记录] bug ： ImportError: libpq.so.5: cannot open shared object file: No such file or directory
【代码】[毕设记录] bug ： ImportError: libpq.so.5: cannot open shared object file: No such file or directory。
2024-05-18 09:41:54
325
原创 [开源项目学习]langchain-chatchat学习记录1
不是系统解读基于自己的学习需求，看到哪里用到哪里然后去看看对应的地方，做一些记录。
2024-05-18 08:56:14
426
原创 [毕设记录] jina-ai / reader 体验
我试了试对于一些没啥反爬措施的（有严格反爬的我还没试），确实挺好用的这个s.jina的endpoint是5月15发出来的，也很不错，这样子不用自己去调那些搜索引擎的api（有些申请比较麻烦，还有的第三方的像serperapi有次数限制）是用ts写的，没有仔细看之前自己也处理过网页代码，用一些库比如bs4，html2text，感觉不如直接用这个hh（懒）
2024-05-17 21:06:28
476
原创 [毕设记录]论文阅读:Retrieval-Augmented Generation for Large Language Models: A Survey
看到网上有好多解读，感觉自己并不能总结得更好，那我就汇总一下看到一个非常全面的RAG的paper总结。
2024-05-17 18:49:15
170
原创 [毕设记录]一些开源项目学习
是在https://github.com/nat/natbot的基础上改进的（那会儿只有GPT3的api）看commit的信息是个hackathon的作品。用GPT4-V实现网页导航。
2024-05-09 11:26:43
905
原创 LLM for school
在GitHub上换着关键词搜: LLM/chatgpt for school/university/campus/…https://github.com/sanketsanjaypote29/CollegeEnquiryBothttps://github.com/mohmeez/LLM-end-to-endhttps://github.com/ZiliottoFilippoDev/ailabhttps://github.com/adi-Z/Pat-rick-AI-Projecthttps://g
2024-05-02 19:22:07
61
原创 [毕设记录]两种markdown转纯文本的方式
先用markdown.markdown把文本转为html格式。直接从Markdown的解析树中提取文本。然后用bs4提取出纯文本内容。
2024-04-27 10:30:34
357
原创 [毕设记录]几个查看GPU使用状态的包 nvidia-smi ； gpustat； nvitop
【代码】[毕设记录]几个查看GPU使用状态的包 nvidia-smi；gpustat；nvitop。
2024-04-24 12:47:36
265
原创 [毕设记录]json格式问题解决
每个 JSON 对象之间缺少逗号，并且没有用数组包裹起来。这样的文件无法直接通过标准的 JSON 解析库来解析。但这样存在很多问题，因为json对象的value里面很可能存在和key一样的字符串或者{ }有时候保存json文件的时候不注意，可以用下面的脚本解决（简易版）没加逗号，然后也没加[ ]
2024-04-24 12:32:42
106
原创 [毕设记录]conda init后仍显示需要init的问题
这样,新添加的conda初始化代码就会生效,相关的环境变量、PATH路径等都会被正确设置。是一个bash启动时自动执行的脚本文件,用于设置环境变量、别名等。文件,并没有重新加载更新后的环境变量到当前bash shell中。当你在终端中打开一个新的bash shell时,它会自动执行。可以立即让conda的环境生效,而不需要重启整个终端窗口。命令会在当前bash shell中重新评估并执行。命令时,它会将conda的初始化代码附加到你的。文件中的命令,从而设置好相应的环境。
2024-04-23 19:40:22
211
原创 [毕设记录]MTEB leaderboard；jina-embeddings-v2-base-en遇到的问题记录
MTEB（Massive Text Embedding Benchmark）排行榜，托管在Hugging Face平台上，是一个全面的框架，用于评估文本嵌入模型在各种任务和语言中的表现。它包括一个排行榜，该排行榜根据模型在多个嵌入任务（如双文本挖掘、分类、聚类、对比分类、重新排名、检索、语义文本相似性（STS）和摘要）上的表现进行排名。然后去modelscope，发现要用的话还是得用trust那个参数，还是得能登上hf😂。的参数，不然会回退到bert模型。麻了，都下载到本地了，还得连着。
2024-04-23 17:02:54
219
原创 使用hf_transfer和hf-mirror下载模型
经过一番折腾，各种路径切换，包括使用绝对路径都没用，我猜应该是模型的问题，魔搭上的all-MiniLM-L6-v2可能没有更新。，参考的是文章开头贴的那篇知乎的文章，那篇写的挺全面的。然后去hugging-face下载，就不报错了。用这个的时候一直报错。
2024-04-21 18:38:56
278
原创 [论文泛读]Scim: Intelligent Skimming Support for Scientific Papers
总的来说,Scim是一个旨在提高研究人员浏览科学论文效率的新型智能界面,通过突出显示重要内容来引导读者,并提供灵活的配置选项。提出了一个名为Scim的新型智能界面,旨在帮助经验丰富的研究人员快速浏览科学论文,以获得对其内容的初步了解。论文通过实验室可用性研究和纵向日记研究评估了Scim,结果显示其突出显示有助于更有效地构建对论文内容的概念化理解。突出显示论文中的重要内容,以引导读者的注意力。读者还可以通过查看侧边栏中突出显示的段落来获得对论文的总体概述(E)。IUI2023的paper。
2024-04-13 11:20:36
271
原创 [论文泛读]ReadingQuizMaker: A Human-NLP Collaborative System that Supports Instructors to Design High-Qu
从摘要中看paper研究了啥。CHI2023的paper。
2024-04-13 09:20:04
196
原创 mark一些资源（爬虫相关）
最近尝试了playwright和pyppeteer，还有selenium。解决问题的时候搜了一些资料，但是没仔细看，先记录下。下面这个crawllab是在小红书刷到的，感觉很强。
2024-04-09 09:50:34
715
原创 [论文泛读]PyMTL: A Unified Framework for Vertically Integrated Computer Architecture Research
通过引入SimJIT，一个定制的JIT特化引擎，自动为CL和RTL模型生成优化的C++代码，与PyPy（一个带有元跟踪JIT编译器的Python解释器）结合使用，提供了显著的速度提升。介绍了PyMTL框架的设计和实现，包括模型的并发-结构描述、端口基础的接口、逻辑的并发块定义和组件的结构组合。论文总结了PyMTL的贡献，并提出了未来的工作方向，包括扩展PyMTL以支持更高级的设计抽象，以及进一步开发SimJIT以支持更多样化的PyMTL结构，并探索更高级的特化优化。
2024-04-06 19:53:53
473
原创 [论文泛读]PyLog: An Algorithm-Centric Python-Based FPGA Programming and Synthesis Flow
论文介绍了PyLog，这是一个基于Python的高级FPGA编程和综合流程，旨在简化FPGA编程。PyLog通过编译器优化和类型推断系统生成高质量的设计，并抽象化了实现细节，让设计者专注于算法规范。PyLog的评估显示，它显著提高了FPGA设计生产力，并生成的FPGA设计在性能上优于高度优化的CPU实现和现有的FPGA实现。
2024-04-06 19:38:09
333
原创 [论文泛读]The BRISC-V Platform: A Practical Teaching Approach for Computer Architecture
论文指出计算机体系结构是电气工程、数字设计、编译器设计、编程语言理论和高性能计算的交叉领域，对于电气和计算机工程教育至关重要。RISC-V是一个新兴的开放ISA，在学术界获得了显著的关注。尽管在研究中广泛使用，但为了在计算机组织和计算机体系结构课程中获得更广泛的采用，需要开发更多的基于RISC-V的工具。论文介绍了BRISC-V平台，这是一个设计空间探索工具，提供了一个基于Web的RISC-V模拟器和一个基于Web的可综合、高度模块化和可参数化的硬件系统生成器。
2024-04-06 18:41:24
531
原创 [论文泛读]PyCompArch: Python-Based Modules for Exploring Computer Architecture Concepts
论文首先指出，随着计算机体系结构整合了微架构、设计、软硬件接口、编译器和操作系统等多个概念，对于开发新的学习和探索方法的需求日益增长。论文强调并行系统在计算机体系结构中的关键地位，并提到了一些核心的并行概念，如阿姆达尔定律（Amdahl’s law）、效率和开销。论文介绍了PyCompArch模块，这是一个基于IPython Notebook环境开发的Python模块，旨在帮助学习计算机体系结构的概念。
2024-04-06 18:31:35
752
原创 mark一些资源（python模拟cpu等）
起因：想用python带着自己学考研计组，搜了一大堆东西，感觉不适合应试，还是先mark着，回头再看。
2024-04-04 20:08:45
921
原创 [论文泛读]Pydgin: generating fast instruction set simulators from simple architecture descriptions with
背景: 指令集模拟器（ISS）是学术界和工业界探索和评估指令集扩展的重要工具。现代 ISS 必须在开发者生产力和高性能模拟之间取得平衡。挑战: 构建能够同时提供 ADL 生成模拟器的生产力优势和 DBT（动态二进制翻译）的高性能优势的框架是一个重大挑战。贡献: 论文介绍了 Pydgin，它使用基于 Python 的嵌入式 ADL 来简洁地描述指令行为，并直接执行为“伪代码”。Pydgin 通过创新性地适应现有的元跟踪 JIT 编译框架，为通用动态编程语言自动生成高性能的 DBT-ISS。
2024-04-04 19:48:15
525
原创 有趣的开源项目：8086-emulator
项目地址：https://github.com/ZubinGou/8086-emulator大佬用pyQt写的8086模拟器，orz去看了下大佬的首页，刚中了个ICLR2024 OTZ
2024-04-04 18:31:02
144
原创 有趣的开源项目：SAPsim
项目地址：https://github.com/jesse-wei/SAPsim是一个模拟器，用于模拟SAP (简易计算机) 程序的工作流程，主要用于学习COMP311这门课用Python 3.9+编写的，安装简单，使用pip install SAPsim即可完成。用户可以通过编写CSV格式的SAP程序并运行，例如调用run(“ex1.csv”)来运行一个叫做"ex1.csv"的SAP程序，模拟器会模拟执行这个程序，并以表格的形式打印执行的指令及寄存器和标志位的状态。
2024-04-04 16:26:48
492
原创 [论文泛读]REALM:RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Langu
摘要(Abstract)论文提出了REALM框架，这是一个基于检索增强生成（RAG）的方法，用于增强多模态电子健康记录（EHR）的表示。REALM通过结合大型语言模型（LLM）和外部知识图谱（KG）来提高临床预测的准确性。该框架首先使用LLM编码临床笔记，使用GRU模型编码时间序列EHR数据。通过LLM提取与任务相关的医学实体，并与PrimeKG中的知识进行匹配，以确保一致性并消除幻觉。提出了一个自适应多模态融合网络，用于整合提取的知识与多模态EHR数据。
2024-04-04 10:28:02
775
原创 [论文泛读]ResearchIME: A Mobile Keyboard Application for Studying Free Typing Behaviour in the Wild
AI辅助生成。
2024-04-04 00:45:51
656
原创 [毕设记录]@开源项目学习：prompttools
用于快速测试和实验的开源工具，支持LLMs（例如 OpenAI、LLaMA）和矢量数据库（例如 Chroma、Weaviate、LanceDB）。看到这个还能测试chroma等向量数据库，比较感兴趣。毕设也想对比一些东西的效果，先mark在这，回头再看。，好像是他们免费提供gpt3.5的api。
2024-03-31 22:19:07
204
原创 some prompts for large language models such as claude and chatgpt
最近感觉和AI交互的时候有时候效率有点低，于是去看了看一些prompt。我记得是当时chatgpt刚出来的时候就爆火的GitHub仓库。不过有时候也可以直接让AI生成prompt。一个飞书文档，里面有一些复杂的prompt。其中有一些有意思的，比如。
2024-03-31 21:21:29
149
原创 [论文泛读]Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts
研究核心：本文研究了非AI专家在利用预训练的大型语言模型（如GPT-3）进行自然语言交互设计时遭遇的难题。关键发现：尽管LLM模型能够原生支持流畅的多轮对话，但非专家在设计能够引导模型输出的有效提示（prompts）方面面临挑战，且这种基于提示的交互方式较为脆弱。
2024-03-31 20:28:39
864
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人