- 博客(122)
- 收藏
- 关注
RSS订阅原创 云服务器网络连接问题
如果上述方法都无法解决问题，可能需要进一步检查云服务器的网络配置或者联系云服务提供商的技术支持来解决。总是超时可能是由于网络连接问题、服务器配置问题或其他外部因素。
2024-07-15 07:33:20
241
原创 不同的架构
s390x 对应 IBM System z (64 位)armhf 对应 32 位 ARM 架构（硬件浮点）arm64 对应 64 位 ARM 架构。x86_64 对应 amd64。查看ubuntu版本。
2024-07-12 15:58:32
92
原创 Kmp+trie树
评价：二分查找的思想很简单，但是做好二分查找需要注意很多细节。模式识别：有序或者有序部分，基本使用二分搜索及其变种。算法描述：“丢弃”一半的数据。
2024-07-11 23:56:23
81
原创 数据结构-堆
优先队列是一种抽象的数据类型，而堆是一种数据结构，所以堆并不是优先队列，堆是实现优先队列的一种方式。实现 优先队列 的方式有很多种，比如数组和链表。但是，这些实现方式只能保证插入操作和删除操作中的一种操作可以在 O(1)O(1) 的时间复杂度内完成，而另外一个操作则需要在 O(N)O(N) 的时间复杂度内完成。而 堆 能够使 优先队列 的插入操作在 O(log N)O(logN) 的时间复杂度内完成，删除操作在 O(log N)O(logN) 的时间复杂度内完成。
2024-07-11 23:54:58
313
原创 周鸿祎关于2024年AI看法
英伟达推出ChatWithRTX ，要把每个人的电脑都折腾成一个私有大模型。Sora,OpenAI新推出的一个文生视频的新模型。Agent智能体激发发模型潜能，成为超级生产力工具。2024是大模型应用场景之年，Toc出现杀手级应用。大模型企业级市场崛起，向产业化、垂直化方向发展。2、2024年大模型发展十大趋势判断（周鸿）文生图、文生视频等AIGC功能突破性增长。大模型无处不在，成为数字系统标配。小模型涌现，运行在更多终端。大模型推动基础科学取得突破。多模态成为大模型标配。
2024-07-11 23:49:50
228
原创 python dataframe转csv时，报错 _csv.Error: need to escape, but no escapechar set
When converting a pandas DataFrame to a CSV file and encountering the error, it’s usually because some characters in your data need to be escaped, and the parameter has not been set in the method.To resolve this issue, you can set the parameter in the
2024-07-11 16:41:29
471
原创 非结构化数据到结构化数据工具
gptpdf：使用GPT-4o解析 PDF 为 markdown，可完美地解析排版、数学公式、表格、图片、图表等，每页解析平均价格不到1毛钱omniparse
2024-07-11 15:14:21
93
原创 An Integration of Pre-Trained Speech and Language Models for End-to-End Speech Recognition
在提出的模型中，预先训练的 HuBERT 和 GPT 通过基于卷积的桥接网络连接并进行完全微调，其中桥接网络将从语音波形样本中提取的有意义的连续潜在表示传递给 LLM 作为语音提示。相比之下，本文将预训练的语音表示模型与 LLM 相结合，将语音模态信息作为连续特征直接桥接到 LLM，以完全 E2E 的方式执行语音识别。语音波形 x 被输入到音频编码器中以获得语音表示，然后通过桥接网络将语音表示转换为文本标记的嵌入空间，以作为语音提示输入到 LLM 中。把波形数据嵌入到语音表示空间。
2024-07-10 23:03:52
567
原创 在 Linux 上安装 Miniconda
为确保下载的文件没有损坏，你可以使用 SHA-256 校验和来验证文件的完整性。你可以从 Miniconda 的官方网站下载最新版本的安装脚本。这样，你就成功在 Linux 上安装了 Miniconda。你现在可以使用 Conda 创建和管理虚拟环境，安装所需的包。运行安装脚本后，按照提示进行安装。将输出的值与 Miniconda 网站上提供的 SHA-256 校验和进行比较，确保两者相同。安装完成后，你需要初始化 Miniconda，以便将其添加到系统的环境变量中。
2024-07-10 16:59:47
335
原创 pandas报错
/Users/sunwenjun/anaconda3/envs/python310/lib/python3.10/site-packages/streamlit/type_util.py:1080: UserWarning: The DataFrame has column names of mixed type. They will be converted to strings and not roundtrip correctly.table = pa.Table.from_pandas(df)
2024-07-10 12:17:27
89
原创 生成requirements.txt
pip install pipreqspipreqs ./ --encoding=utf-8 --forcepython导出requirements.txt的几种方法总结
2024-07-07 09:24:22
204
原创 python中的json库常见使用总结
使用 json.dumps() 生成 JSON 字符串时，需要确保 Python 对象中的所有数据都可以被正确地序列化为 JSON 数据类型，否则会抛出 TypeError 异常。接受一个包含JSON数据的字符串作为参数，从字符串中加载JSON数据。将 Python 对象转换为 JSON 字符串，并将该字符串写入文件。将 Python 对象转换为 JSON 字符串，并返回该字符串。接受一个已经打开的文件对象作为参数，从文件中读取JSON数据。异常，如果提供的字符串不是有效的JSON格式。
2024-07-02 18:17:34
470
原创 httpx.HTTPStatusError: Client error ‘429 Too Many Requests‘ for url ‘
实现重试机制：当遇到 429 错误时，可以等待一段时间（通常服务器会在响应头中包含一个 Retry-After 指令，告诉客户端等待多久后再尝试），然后重新发送请求。联系API供应商：如果你正在调用的是第三方API，并且需要大量请求，联系API供应商协商提高你的请求限额或者特定的访问策略。请求限制分析：如果可能，分析你的请求模式，并尝试优化，比如批处理请求或者使用更高效的方法。减少请求频率：减慢你的请求速率，遵守服务器提供的速率限制。
2024-07-01 23:09:47
298
原创 langchain报错
ImportError: cannot import name ‘BaseModel’ from ‘langchain_core.pydantic_v1’ (/Users/sunwenjun/anaconda3/envs/python310/lib/python3.10/site-packages/langchain_core/pydantic_v1/init.py)pip install -U pydanticpip install -qU langchain-openai
2024-07-01 01:16:58
190
原创 大模型微调（finetune）方法
主要是通过模型本身对任务数据进行生成引导，构建自我蒸馏数据集，改变任务数据的信息分布，减少与原始模型信息分布的差距。：显著性和敏感性分析，更精确的定位到需要改变的参数，避免对整个模型参数的全面调整，从而减少了灾难性遗忘的发生。:主流解决大模型微调后灾难行遗忘的方法是在微调过程中加入通用的指令数据。单任务：OpenFunctions、GSM8K和MagiCoder；多任务：Alpaca、Dolly和LIMA；
2024-06-27 16:56:48
402
原创 Retrieval Augmented Generation (RAG): A Comprehensive Visual Walkthrough
Retrieval Augmented Generation (RAG): A Comprehensive Visual Walkthrough
2024-06-22 23:52:28
91
原创 RAG优化
1、大模型的局限性2、什么是检索增强的语言模型(Retrieval-based LMs)3、为什么要使用检索增强的语言模型（Retrieval-based LMs）4、RAG和SFT微调有什么不同？
2024-06-22 21:31:49
262
原创 大模型应用开发-向量数据库选型
FAISS：适合需要高性能和低延迟的场景，但实现较为复杂。Annoy：轻量级、适合读取多于写入的场景，但不支持动态更新。HNSW：性能优越，特别适合高维数据，并且支持动态更新。Milvus：企业级解决方案，支持多种索引和动态数据管理，适合大规模分布式环境。Pinecone：全托管服务，易于使用和管理，适合快速部署需求。Weaviate：支持语义搜索和知识图谱，适合复杂的数据集成场景。根据具体的应用需求选择合适的向量数据库，可以显著提升系统的性能和效率。
2024-06-21 11:00:26
368
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人