镰刀韭菜-CSDN博客

原创【Python】5分钟了解11个最佳的Python编译器和解释器

Python是一门初学者的编程语言。它是一种高级语言，非常灵活、解释性和面向对象的语言。这是一门非常容易学习、阅读和维护的语言，编写的程序非常简洁。Python解释器适用于多种操作系统，如Windows、Linux和Mac OS。使它更加有用的其他特性包括其可移植性和可扩展性。大多数技术专家认为，但它在一开始也是编译语言。。。本文重点介绍了11个最佳的Python编译器和解释器，适用于Python程序员。

2023-08-02 20:00:00 1438

原创【NLP】一个使用PyTorch实现图像分类的迁移学习实例

在特征提取中，可以在预先训练好的网络结构后修改或添加一个简单的分类器，然后将源任务上预先训练好的网络作为另一个目标任务的特征提取器，只对最后增加的分类器参数重新学习，而预先训练好的网络参数不被修改或冻结。在完成新任务的特征提取时使用的是源任务中学习到的参数，而不用重新学习所有参数。下面的示例用一个实例具体说明如何通过特征提取的方法进行图像分类。

2023-07-27 22:23:22 1071

原创【LLM】大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model

在这项工作中，我们开发并发布了LLAMA 2，这是一系列预训练和微调的大型语言模型（LLMs），规模从70亿到700亿个参数不等。我们的微调LLMs，称为Llama 2-Chat，**专为对话场景进行了优化**。我们的模型在大多数我们测试的基准中表现优于开源对话模型，并且根据我们的人工评估，其有益性和安全性使其成为闭源模型的合适替代品。我们详细描述了我们对Llama 2-Chat的微调和安全性改进方法，旨在让社区能够在我们的工作基础上发展并为负责任的LLM发展做出贡献。

2023-07-26 20:00:00 1651 1

原创【大语言模型】5分钟快速认识ChatGPT、Whisper、Transformer、GAN

ChatGPT 是一个基于 GPT（Generative Pre-trained Transformer）技术的聊天型人工智能模型。GPT 是由 OpenAI（开放人工智能）开发的一系列语言模型，而 ChatGPT 是其中的一种特定版本，专注于为用户提供自然语言交互的聊天体验。ChatGPT 是在大规模无监督预训练的基础上构建的。在预训练阶段，模型通过处理海量的文本数据来学习语言的语法、语义和上下文信息。这使得 ChatGPT 具备了丰富的语言理解和生成能力。

2023-07-21 08:00:00 1451

原创【分布式训练】基于PyTorch进行多GPU分布式模型训练（补充）

随着以ChatGPT为代表的大模型的不断涌现，如何在合理的时间内训练大模型逐渐成为一个重要的研究课题。为了解决这个问题，越来越多的从业者转向分布式训练。**分布式训练是使用多个GPU和/或多个机器训练深度学习模型的技术**。分布式训练作业能够克服单GPU内存瓶颈，通过同时利用多个GPU来开发更大，功能更强大的模型。

2023-07-20 08:00:00 944

原创【NLP】从预训练模型中获取Embedding

在NLP领域中，构建大规模的标注数据集非常困难，以至于仅用当前语料无法有效完成特定任务。可以采用迁移学习的方法，即将预训练好的词嵌入作为模型的权重，然后在此基础上的微调。

2023-07-19 08:00:00 892

原创【分布式训练】基于Pytorch的分布式数据并行训练

加速神经网络训练的最简单方法是使用GPU，它在神经网络中常见的计算类型（矩阵乘法和加法）上提供了比CPU更大的加速。随着模型或数据集变得越来越大，一个GPU很快就会变得不足。例如，像BERT和GPT-2这样的大型语言模型是在数百个GPU上训练的。要执行多GPU训练，我们必须有一种方法在不同的GPU之间分割模型和数据，并协调训练。很多人喜欢在Pytorch中实现自己的深度学习模型，因为它在神经网络框架的控制和易用性之间具有最佳平衡。Pytorch有两种方法可以跨多个GPU拆分模型和数据：和。nn.DataPa

2023-07-18 22:45:20 4170 2

原创【NLP】使用Word Embedding实现中文自动摘要

本文通过一个实例介绍如何使用Word Embedding实现中文自动摘要，使用Gensim中的word2vec模型来生成Word Embedding。

2023-07-16 17:19:04 1169

原创【可解释学习】PyG可解释学习模块torch_geometric.explain

torch_geometric.explain是PyTorch Geometric库中的一个模块，用于解释和可视化图神经网络（GNN）模型的预测结果。它提供了一些方法来解释模型的预测结果、边权重和节点重要性。主要内容有：Philoshopy（哲学思想）、Explainer（解释器）、Explanations（解释）、Explainer Algorithm（解释器算法）、Explanation Metrics(解释度量)

2023-07-14 23:00:00 1708

原创【PaperReading】LINE:Large-scale Information Network Embedding

DeepWalk使用DFS随机游走在图中进行节点采样，使用word2vec在采样的序列学习图中节点的向量表示。**LINE（Large-scale Information Network Embedding）也是一种基于邻域相似假设的方法**，与DeepWalk使用DFS构造邻域不同的是，**LINE可以看作是一种使用BFS构造邻域的算法**。此外，**LINE还可以应用在带权图中**（DeepWalk仅能用于无权图）。

2023-07-11 08:00:00 528

原创【大语言模型】LLM应用程序的新兴体系结构

在本文中，我们分享了新兴的大型语言模型应用栈的参考架构。它展示了我们**在人工智能初创公司和高级技术公司中看到的最常见的系统、工具和设计模式**。这个栈仍处于非常早期阶段，随着基础技术的进步，它可能会发生重大变化，但我们希望它能成为现在与大型语言模型一起工作的开发人员的有用参考。

2023-07-10 22:00:00 1456

原创【大语言模型】15分钟快速掌握LangChain以及ChatGLM

LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。LangChain的主要功能有：调用语言模型，将不同数据源接入到语言模型的交互中，允许语言模型与运行环境交互。

2023-07-05 14:14:06 7711

原创【PaperReading】metapath2vec: Scalable Representation Learning for Heterogeneous Networks

Metapath2vec是一种用于学习节点嵌入（node embedding）的图表示学习算法，旨在处理异构信息网络（heterogeneous information networks）。该算法通过将异构信息网络中的节点序列转换为连续的向量表示，以捕捉节点之间的语义关系和相似性。

2023-07-04 19:37:01 428

原创【大语言模型】5分钟了解预训练、微调和上下文学习

预训练）是语言模型学习的初始阶段。在预训练期间，模型会接触到大量未标记的文本数据，例如书籍、文章和网站。在大量未标记文本数据上训练语言模型。比如说在包含数百万本书、文章和网站的数据集上预训练像 GPT-3 这样的语言模型。预训练目标是捕获文本语料库中存在的底层模式、结构和语义知识。预训练（Pre-training）是指在目标任务之前，使用大规模数据集和无监督学习的方法对模型进行初始训练。在预训练阶段，模型通过学习输入数据的内部表示来获取知识和特征，以便在后续的具体任务上进行微调或迁移学习。

2023-06-28 14:40:31 12772

原创【大语言模型】使用ChatGLM-6B模型训练自己的数据集

本项目实现了对于 ChatGLM-6B 模型基于 P-Tuning v2 的微调。P-Tuning v2 将需要微调的参数量减少到原来的 0.1%，再通过模型量化、Gradient Checkpoint 等方法，最低只需要 7GB 显存即可运行。

2023-06-27 12:06:19 4089 2

原创【大语言模型】10分钟快速了解并部署ChatGLM-6B

ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本，约60亿参数，本地部署仅需要6GB显存（INT4量化级别）。ChatGLM-6BChatGLM-6B具备的能力自我认知：“你是谁”，“介绍一下你的优点”提纲写作。

2023-06-25 21:27:20 1437

原创【Workflow】标准流程描述语言 WDL最佳实践

WDL 是 Workflow Description Language的缩写，有时也写作 Workflow Definition Language，是美国 Broad Institute 推出的工作流描述语言。WDL + Cromwell（an execution engine that can run WDL scripts）是目前可以更好使用GATK的一套工具。这里学习wdl的快速入门教程。WDL是一种流程编写语言，没有太多复杂的逻辑和语法，入门简单。

2023-06-23 08:00:00 1252

原创【强化学习】动手学强化学习：多臂老虎机问题

强化学习关注智能体和环境交互过程中的学习，这是一种试错型学习（）范式。在正式学习强化学习之前，我们需要先了解多臂老虎机问题，它可以被看作简化版的强化学习问题。与强化学习不同，多臂老虎机不存在状态信息，只有动作和奖励，算是最简单的“和环境交互中的学习”的一种形式。多臂老虎机中的探索与利用（vs.）问题一直以来都是一个特别经典的问题，理解它能够帮助我们学习强化学习。执行能够获得已知最优收益的决策尝试更多可能的决策，不一定会是最优收益形式化序列决策问题如下：探索：可能发现更好的策略。

2023-06-22 08:00:00 912

原创【图神经网络】5分钟快速了解Open Graph Benchmark

Open Graph Benchmark（OGB）是用于图机器学习的基准数据集、数据加载器和评估器的集合。数据集涵盖了各种图机器学习任务和现实世界中的应用程序。OGB数据加载器与流行的图深度学习框架完全兼容，包括PyTorch Geometric和Deep Graph Library（DGL）。它们提供自动数据集下载、标准化数据集拆分和统一的性能评估。

2023-06-20 21:00:00 2275

原创【Workflow】10分钟带你安装使用Cromwell及其相关组件

WDL是Broad Institute开发的“human readable and writable”定义组织任务与工作流的一种语言，主要面向生物信息/基因组学等领域。Cromwell 是WDL语言的任务管理引擎，在 BSD 3-Clause 许可下开源。

2023-06-20 19:44:53 855

原创【Workflow】10分钟快速了解WDL/Cromwell工作流

WDL是定义组织任务与工作流的一种语言，主要面向生物信息/基因组学等领域。Cromwell 是WDL语言的任务管理引擎，在 BSD 3-Clause 许可下开源。

2023-06-20 14:34:16 950

原创【图神经网络】图神经网络（GNN）学习笔记：Graph Embedding

图嵌入（Graph Embedding）算法是一类用于将图中的节点或边转换为低维向量表示的技术。它通过学习节点或边之间的关系和结构信息，将复杂的图结构映射到一个连续的向量空间中。图嵌入算法在图分析、社交网络分析、推荐系统等领域具有广泛的应用。常见的图嵌入算法包括DeepWalk、Node2Vec、GraphSAGE、Graph2Vec等，它们使用了不同的策略和技术来捕捉图中的结构和语义信息。这些算法能够将图中的节点和边表示为稠密的低维向量，使得后续的机器学习和数据挖掘任务更加高效和有效。

2023-06-13 23:00:00 2264 1

原创【图神经网络】用PyG实现图机器学习的可解释性

在本博客文章中，我们将逐步介绍可解释性模块，详细说明框架的每个组件如何工作以及其作用。随后，我们将介绍各种解释评估方法和合成基准数据集，这些方法与数据集相辅相成，确保您为当前任务生成最佳的解释结果。接下来，我们将介绍一些可立即使用的可视化方法。最后，我们将详细介绍在PyG中实现自己的解释方法所需的步骤，并强调异构图和链接预测解释等高级用例的工作。

2023-06-12 12:37:43 2519

原创【PaperReading】CTpathway: a CrossTalk-based pathway enrichment analysis method for cancer research

这篇文章介绍了一种新的通路富集分析方法（CTpathway），该方法使用基因表达数据计算基因间的交叉谈话，并将其转化为加权图，以更全面地理解通路在癌症中的作用。该方法可以更准确地鉴定与癌症相关的通路，并且可以更好地解释这些通路的作用。文章提出了一种解决现有通路富集分析方法忽略基因间交叉谈话的问题的方法。文章的缺点是没有详细说明该方法的局限性和适用范围。

2023-06-09 12:55:07 499

原创【PaperReading】科学可重复的基因组富集: CERNO 与其他八种算法的比较

CERNO是一种基于修改后的Fisher P值积分的灵活且快速的基因集富集分析算法。与其他算法不同的是，CERNO不需要像GSEA那样进行随机化处理，使其在小样本量情况下的实现快速而强大。已经证明，CERNO在小样本量情况下优于GSEA，并且具有显著的鲁棒性。此外，CERNO假设P值独立，这是Fisher方法的基础，但是其他算法中这种假设并不成立。

2023-06-08 20:30:00 828

原创【PaperReading】Toward a gold standard for benchmarking gene set enrichment analysis

基因集富集分析（GSEA）是一种广泛应用于高通量基因表达数据的方法，用于确定在不同生物学条件下表达的基因集是否富集。然而，由于缺乏标准化的基准数据集和评估方法，GSEA的结果在不同研究中难以比较和解释。本文提出了一种GSEA基准协议，旨在为GSEA方法的开发和评估提供一个标准化的基准。该协议包括使用模拟数据集和真实数据集进行评估，以及评估GSEA方法的准确性、灵敏度、特异性和可重复性。我们还讨论了GSEA方法的局限性和未来的发展方向。该基准协议将有助于推动GSEA方法的发展，并促进不同研究之间的比较和解释。

2023-06-07 23:00:00 429

原创【PaperReading】Comparative Study ongene set and pathway topology-based enrichment methods

本文提出了三种基于基因集（GS）和四种基于通路拓扑结构（PT-based）的富集方法，并对它们进行了系统比较。研究解决了如何将通路数据整合到不同富集方法中的问题，并进行了广泛的模拟研究和基准测试。研究发现，对于原始的KEGG通路，PT-based方法在模拟和基准测试中都没有明显优于GS方法，但在非重叠通路的模拟研究中，PT-based方法优于简单的GS测试。研究还讨论了竞争性和自包含性方法的局限性和批评，并比较了GS和PT-based方法的优缺点。最终得出的结论是，简单的GS方法可能足以检测富集通路，但需要

2023-06-06 23:00:00 419

原创【图神经网络】手把手带你快速上手OpenHGNN

OpenHGNN是一个基于 DGL [Deep Graph Library] 和 PyTorch 的开源异质图神经网络工具包，集成了异质图神经网络的前沿模型。

2023-05-28 15:02:15 1109 2

原创【PaperReading】OpenHGNN：An Open-Source Toolkit for Heterogeneous Graph Neural Networks

今天带大家学习一个异质图神经网络开源工具包`OpenHGNN`。该工具包由北京邮电大学石川教授 `GAMMA Lab`发布，主要基于`PyTorch`和`DGL`。该开源工具包中集成了当前许多异质图神经网络的前沿模型，并提供了易用的接口，用户可以定义定制化的任务/模型/数据集来对新的场景应用建模，同时还集成了optuna进行超参数优化。

2023-05-26 16:21:50 767

原创【PaperReading】Heterogeneous Graph Neural Network

今天阅读一篇KDD 2019的一篇文章：Heterogeneous Graph Neural Network。研究团队针对异构图网络进行建模，得到每个节点的向量表示。首先，利用基于重启的随机游走策略为每个节点根据节点类型选择邻居，然后利用两个模块聚合邻居节点特征：一方面，对节点的不同类型特征进行建模，生成特征向量；另一方面，聚合不同类型的邻居节点，并融合注意力机制，对不同类型的节点赋予不同的权重，得到最终的向量表示。最后，建立损失函数，mini-batch梯度下降端对端学习模型。将学习到的向量表示用于链接预

2023-05-23 23:00:00 1125

原创【PaperReading】SHINE: SubHypergraph Inductive Neural nEtwork

近日，西北大学范伯格医学院Yuan Luo副教授发表在`NeurIPS 2022`上的论文“`SHINE: SubHypergraph Inductive Neural nEtwork`”。`超图神经网络`可以对图的节点之间的多路连接进行建模，这在基因医学等现实世界的应用中很常见。

2023-05-22 23:00:00 869

原创【PaperReading】HGT：Heterogeneous Graph Transformer

近年来见证了图神经网络（GNN）在建模结构化数据中的新兴成功。但是，大多数GNN都是为均匀图设计的，其中所有节点和边缘都属于相同类型，使它们不可避免地代表异质结构。在本文中，我们介绍了用于建模网络尺度异质图的异质图变压器（HGT）体系结构。为了建模异质性，我们设计了依赖性参数，以表征每个边缘上的异质注意力，从而赋予HGT以维护不同类型的节点和边缘的专用表示。为了处理动态异质图，我们将相对时间编码技术引入HGT，该技术能够以任意持续时间捕获动态结构依赖性。要处理网络尺度的图形数据，我们设计了异质的迷你批次图采

2023-05-19 23:00:00 912

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

The brief introduction of diffusion model and stable diffusion

转录调控中的非编码RNAs，以及肿瘤细胞中氨基酸代谢调控PPT

集成学习原理与应用介绍（随机森林）

桥区通航风险问题分析与案例研究

大数据项目之数据挖掘子系统设计

DOES ENFORCEMENT OF INTELLECTUAL PROPERTY RIGHTS MATTER?

Deep Facial Non-Rigid Multi-View Stereo

为旅游交通服务的电池充电桩

H3C全国网络技能大赛

校园网IP地址规划

空空如也