- 博客(106)
- 收藏
- 关注
原创 Neural Network-神经网络算法本质
NN神经网络本质:forwad和back propagation。普通实现方式、pytorch实现、tensorflow实现损失函数loss function
2022-12-08 13:02:13 2601
原创 强化学习RL实战 01:RoboCup Rescue simulator
1. official documentsofficial Readme:https://github.com/roborescue/rcrs-server/blob/master/README.adoc java codes: GitHub - roborescue/adf-sample-agent-java: A sample team using RCRS Agent Development Frameworkpython codes: GitHub - roborescue/rcrs-sample
2024-01-16 09:03:37 390
原创 GNN PyG~torch_geometric 学习理解
其中EdgeIndex(edge_index=tensor([[1, 2], [0, 0]]), e_id=tensor([10, 2]), size=(3, 1))是第一层采样得到的bipartite图, EdgeIndex(edge_index=tensor([[2, 3, 0, 3, 0, 4], [0, 0, 1, 1, 2, 2]]), e_id=tensor([2, 8, 6, 9, 4, 0]), size=(5, 3))是第二层采样得到的bipartite图。
2023-10-01 19:45:43 587
原创 GNN advanced knowledge
目标时将BP loss value限定在20-40之间。,这都会导致model performance很差。在BP时陷入梯度消失或梯度爆炸。避免构建的GNN model。
2023-09-10 15:00:14 157
原创 windows10 operation system: error collections
special solution: 卸载onedrive;或程序中安装了两套office365,一个中文版Zh,一个英文版,卸载一个。special scenario: 我电脑还是因为onedrive同步保存文件时,电脑崩溃。常规问题: 中病毒、程序组件丢失、注册表损坏等。
2023-05-11 16:49:30 182 1
原创 深入浅出PyTorch: pytorch教程
Module类是torch.nn模块里提供的一个模型构造类(nn.Module),是所有神经网络模块的基类,我们可以继承它来定义我们想要的模型pytorch模型定义应包括两个主要部分:各个部分的初始化(__init__);数据流向定义(forward)基于nn.Module,我们可以通过SequentialModuleList和ModuleDict三种方式定义pytorch模型。
2023-03-15 13:56:05 1383
原创 GNN algorithms(6): GraphCL
图对比学习 GCL: GCL是一种针对图数据的自监督学习算法。--》对给定的大量无标签数据,图对比算法旨在训练出一个图编辑器,即GNN,用以得到图表示向量。
2023-03-13 18:44:58 706 2
原创 强化学习RL 04: Actor-Critic Algorithm
actor: 是policy network,通过生成动作概率分布,用来控制agent运动,类似“运动员”。critic: 是value network,用来给动作进行打分,类似“裁判”。
2023-02-28 15:00:34 619
原创 强化学习RL 01: Reinforcement Learning 基础
把Ut当作未来所有动作Ai和所有状态Si的一个函数,未来的动作和状态都有随机性,动作Ai的概率密度函数是policy function π,状态Si的概率密度函数是状态转移函数p,期望就是针对未来Si和Ai求得,出了St和At,其余的随机变量都是积分积掉,被积掉的是At+1,At+2等动作、St+1,St+2等动作,求期望得到的动作价值函数Qπ,其只跟当前动作at、状态st有关。Ut是个随机变量,它依赖于未来所有的动作At,At+1,At+2,...和未来所有的状态St,St+1,St+2,...
2023-02-27 15:13:40 553
原创 预训练机制(3)~GPT、BERT
Bert判断句子B中答案位置的做法是,将句子B中的每一个词得到的最终特征向量T'经过全连接层(利用全连接层将词的抽象语义特征转化为任务指向的特征)后,分别与向量s和e求内积,对所有内积分别进行softmax操作,即可得到Tok m作为答案起始位置和终止位置的概率。在进行单句标注任务时,需要在每个词的最终语义特征向量之后添加全连接层,将语义特征转化为序列标注任务所需的特征,单句标注任务需要对每个词都做标注,因此不需要引入辅助向量,直接对经过全连接层后的结果做softmax操作,即可得到各类标签的概率分布。
2023-02-16 09:27:52 922
原创 深度学习基础知识(三):模型概念
训练任务中的每个任务的数据分为 训练集(Support set) 和测试集( Query set);对于人类而言,一个小朋友成长过程中会见过许多物体的照片,某一天,当Ta(第一次)仅仅看了几张狗的照片,就可以很好地对狗和其他物体进行区分。层训练单位是任务,也就是说,元学习中要准备许多任务来进行学习,第二层训练单位才是每个任务对应的数据。数据可以分为训练集、测试集和验证集。在元学习中,训练单位分层级了,元学习可以有效的缓解大量调参和任务切换模型重新训练带来的计算成本问题。,改善数据价值密度低的问题。
2023-02-16 09:24:03 279
原创 预训练机制(1)~ 预训练、语言模型、ELMo
机器学习:偏数学(《统计学习方法》--李航)深度学习(人工智能)项目:大数据支持(主流)problem: 目前很多项目没有大数据支持(小数据)
2023-01-29 14:56:57 486
转载 [转载]GNN algorithm(5): Graph Encoder-Decoder Mechanism
介绍Graph Representative Learning的 Encoder-Decoder框架。
2023-01-07 18:41:30 646
原创 GNN algorithm(4): HAN, Heterogeneous Graph Attention Network
solution: HAN(Heterogeneous graph attention network)node-level attention: learn the importance between a node and its meta-path based neighborssemantic-level attention: is able to learn the importance of different meta-paths.
2023-01-03 18:06:00 535 1
原创 GNN algorithms(3): Tri-party Deep Network Representation
conceptrepresent each node 表示节点 in a vector format rather than others。Aim:to learn.learn optimal node representation. 节点信息在本论文中不是一个单独的概念,而是概括性的概念。
2022-12-26 18:16:00 810
原创 GNN Algorithms(2): GCN, Graph Convolutional Network
Essence: 传统的卷积运算无法在graph上进行运算,所有借由傅里叶变换Fourier Transformation实现在graph上的卷积运算,得到graph convolution,退出GCN(graph convolutional network)。
2022-12-19 14:17:46 552
原创 GNN Algorithms (1): DeepWalk
Graph Embedding使用低维稠密向量的形式表示图中的节点,使得在原始图中相似的节点在低维表达空间中也相似。DeepWalk关键基础是Random Walk和word2vec,word2vec。图表示Graph Embedding based on。
2022-12-16 14:21:17 520
原创 GNN Event Detection Paper(1): Reinforced, Incremental and Cross-lingual Event Detection From Social
FinEvent是GNN event detection method for social streaming messages,利用强化学习RL从加权异构图中挑选neighbor,然后利用GAT作为聚合器Aggregator将邻居节点embedding聚合成最终的single neighbor embedding,继而输入到DBSCAN中做event detection。其中,cross-lingual是基于迁移学习transfer learning做的,target domain:少量标签数据。
2022-10-20 19:53:08 567
原创 NLP: LDA主题模型
(1) 一个函数:gamma函数(2) 四个分布:二项分布、多项分布、beta分布、Dirichlet分布(3) 一个概念和一个理念:共轭先验、贝叶斯框架(4) 两个模型:pLSA和LDA(5) 一个采样:Gibbs采样。
2022-08-31 18:10:20 5812
原创 医学数据挖掘流程(六):写报告+模型集成
纳排发现问题,要准确描述问题、统计分析相关数据。研究方向:研究对象与目标变量是直接相关的。最基础的理论基石错了,后面一切都是枉然。方向思路:与team同事探讨。并提出自己立场的解决方案。
2021-11-11 21:17:13 569
原创 医学数据挖掘流程(四):建模调参画图
建模数据集不包含patient_id或case_no,但我们需要保存一版带id的数据集,自己看!二分类模型多分类模型回归模型。
2021-11-11 21:16:42 897
原创 医学数据挖掘流程(三):特征工程
数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。特征工程流程:这些过程不是必须全部要有,需要根据业务需求和数据格式特点,适宜调整!
2021-11-11 21:16:10 1391
原创 医学数据挖掘流程(二):数据预处理
医学数据挖掘基本素养:每一步都要校对数据!!!!!!!!!!!!!!!!!看数据量、特征数据缺失情况、离散情况、差异情况、特征包含情况(频次、dosage和日剂量)、运行结果。要不然建模数据不好,得重新返工。代码没思路,多看原始数据。逻辑顺,才能写代码顺。深刻理解原始数据,才能理清逻辑。才能决定手工操作方便还是代码方便,在用药数据重复和交叉的情况需要百度药物药效属性,才能决定该合并还是删除。不看数据,没有发言权!!!!!!数据处理注意事项:Medical DM数据处理流程:参考丙戊酸和甲氨蝶呤项目因为特定用
2021-11-11 21:15:31 1913
原创 医学数据挖掘流程(一): 需求分析-数据梳理
明确需求:先描述想研究啥,用一句话描述,拆成X和Y,然后结合X和Y的数据类型,选择对应的分析方法。(业务、临床)指导算法人员要做什么,而不是算法指导业务,比如明确其他检测指标和联合用药,不同的药不一样。因为算法不懂业务啊。工作流程:业务指导,制定流程。算法根据业务需求搞数据、方法、模型效果。==>形成算法报告。明确目标 有效性分析:需要有tdm检测。因为在医学上他们通常认为10-20mg的tdm检测水平为有效! 高低剂量组对比统计分析:明确分组标注。需要分析高低剂量用药对疾病治疗或预防
2021-11-11 21:14:00 982
原创 jupyter notebook使用技巧
jupyter跑不动?一个循环一个cell,别太多一起跑,它和pycharm不一样。 删除temp_list等临时变量,他们占用缓存太高。
2021-11-11 09:44:56 1355
原创 医学数据挖掘学习项目:他克莫司
目录1. 报告2. 代码1:从数据库中提取数据lambda,匿名函数,快速定义单行函数,可以用在任何需要函数的地方。pandas判断是否是空值NaN,isnull(),notnull()pandas.reset_index()pandas.astype()pandas.Excel_Writer()输出到excelmysqlpandas merge()方法pandas rename()方法pandas.drop_duplicates()方法pandas Da
2021-10-06 22:44:30 815
原创 python programming training(四):动态规划
动态规划,说白了就是高中的数学归纳法。1. 概念理解特点和贪心法区别和递归区别2. 分类3. leedcode实战案例参考
2021-08-04 21:45:50 106
原创 python programming training(三):搜索算法
线性表查找技术:是指进行查找运行的查找表所采用的存储结构是线性表的存储结构。在线性表查找技术中,对数据元素的查找包括:二分查找和顺序查找和分块查找。1. 二分查找(Binary Search)二分查找又称折半查找,是一种效率较高的查找方法。二分查找要求线性表是有序表,即表中结点按关键字有序排列,并且要用顺序表作为表的存储结构。二分查找是一种在有序数组中查找某一特定元素的搜索算法。过程:搜索过程从数组的中间元素开始,如果中间元素正好是要查找的元素,则搜索过程结束,如果是某一个特定元素小于或
2021-08-01 12:57:46 109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人