【深度学习】General Model

最新推荐文章于 2024-04-21 16:29:23 发布
最新推荐文章于 2024-04-21 16:29:23 发布
阅读量450 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，可随意转载，但请注明作者和出处。 https://blog.csdn.net/LeYOUNGER/article/details/78667538

摘要

最近在做一个Kaggle比赛， 于此分享一下所使用的DL模型（经过简化），希望能对初学者有所帮助。
（最后结果，公榜23/4512，私榜87/4512，过拟合了啊啊啊啊T.T）

比赛地址：

https://www.kaggle.com/c/jigsaw-toxic-comment-classification-challenge

模型中所使用的词嵌入请参看如下博客：

http://blog.csdn.net/leyounger/article/details/78949709

各种模型的总结

https://www.kaggle.com/jagangupta/lessons-from-toxic-blending-is-the-new-sexy

Text相关比赛的套路

  1. 文本预处理
  2. 分词
  3. 特征工程（词袋，词嵌入，句向量等）
  4. CV与KFold
  5. 模型融合（Stacking，加权融合等）

使用的深度模型

TextRNN

inp = Input(shape=(MAX_SEQUENCE_LENGTH, ))
x_3 = Embedding(len(word_index) + 1,
                EMBEDDING_DIM,
                weights=[get_embeddings()],
                input_length=MAX_SEQUENCE_LENGTH,
                trainable=False)(inp)
x_3 = SpatialDropout1D(0.2)(x_3)
x_3 = Bidirectional(GRU(128, return_sequences=True, dropout=0.2, kernel_initializer='glorot_uniform'),merge_mode='concat')(x_3)
avg_pool_3 = GlobalAveragePooling1D()(x_3)
max_pool_3 = GlobalMaxPooling1D()(x_3)
attention_3 = Attention()(x_3)
x = keras.layers.concatenate([avg_pool_3, max_pool_3, attention_3])

x = Dense(6, activation="sigmoid")(x)

adam = keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-08)
sgd = keras.optimizers.SGD(lr=0.001)

model = Model(inputs=inp, outputs=x)
model.compile(loss='binary_crossentropy',
              optimizer=adam,
              metrics=['accuracy', 'binary_crossentropy'])

TextCNN

inp = Input(shape=(MAX_SEQUENCE_LENGTH, ))
x_3 = Embedding(len(word_index) + 1,
                    EMBEDDING_DIM,
                    weights=[get_embeddings()],
                    input_length=MAX_SEQUENCE_LENGTH,
                    trainable=False)(inp)
x_3 = SpatialDropout1D(0.2)(x_3)

cnn1 = Conv1D(256, 2, padding='same', strides=1, activation='relu')(x_3)
cnn2 = Conv1D(256, 3, padding='same', strides=1, activation='relu')(x_3)
cnn3 = Conv1D(256, 4, padding='same', strides=1, activation='relu')(x_3)
cnn4 = Conv1D(256, 5, padding='same', strides=1, activation='relu')(x_3)
cnn5 = Conv1D(256, 6, padding='same', strides=1, activation='relu')(x_3)
cnn = keras.layers.concatenate([cnn1, cnn2, cnn3, cnn4, cnn5], axis=-1)

cnn1 = Conv1D(128, 3, padding='same', strides=1, activation='relu')(cnn)
cnn1 = MaxPooling1D(pool_size=200)(cnn1)
cnn2 = Conv1D(128, 4, padding='same', strides=1, activation='relu')(cnn)
cnn2 = MaxPooling1D(pool_size=200)(cnn2)
cnn3 = Conv1D(128, 5, padding='same', strides=1, activation='relu')(cnn)
cnn3 = MaxPooling1D(pool_size=200)(cnn3)
cnn = keras.layers.concatenate([cnn1, cnn2, cnn3], axis=-1)

x = Flatten()(cnn)
x = Dropout(0.2)(x)

x = Dense(128, kernel_initializer='he_normal')(x)
x = PReLU()(x)
x = BatchNormalization()(x)
x = Dropout(0.2)(x)
x = Dense(6, activation="sigmoid")(x)

adam = keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-08)
sgd = keras.optimizers.SGD(lr=0.001)

model = Model(inputs=inp, outputs=x)
model.compile(loss='binary_crossentropy',
              optimizer=adam,
              metrics=['accuracy', 'binary_crossentropy'])

RCNN

inp = Input(shape=(MAX_SEQUENCE_LENGTH, ))
x_4 = Embedding(len(word_index) + 1,
                    EMBEDDING_DIM,
                    weights=[get_embeddings()],
                    input_length=MAX_SEQUENCE_LENGTH,
                    trainable=False)(inp)
x_3 = SpatialDropout1D(0.2)(x_4)
x_3 = Bidirectional(GRU(196, return_sequences=True, dropout=0.2, kernel_initializer='he_normal'),
                    merge_mode='concat')(x_3)
x_3 = Conv1D(96, kernel_size=3, padding="valid", kernel_initializer="glorot_uniform")(x_3)
avg_pool_3 = GlobalAveragePooling1D()(x_3)
max_pool_3 = GlobalMaxPooling1D()(x_3)
att_3 = Attention()(x_3)
x = keras.layers.concatenate([avg_pool_3, max_pool_3, att_3])
x = Dense(6, activation="sigmoid")(x)

adam = keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-08)
sgd = keras.optimizers.SGD(lr=0.001)

model = Model(inputs=inp, outputs=x)
model.compile(loss='binary_crossentropy',
              optimizer=adam,
              metrics=['accuracy', 'binary_crossentropy'])
					<link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-778f64ae39.css" rel="stylesheet">
            </div>
								<div class="hide-article-box text-center">
					<a class="btn" id="btn-readmore" data-track-view='{"mod":"popu_376","con":",https://blog.csdn.net/LeYOUNGER/article/details/79572279,"}' data-track-click='{"mod":"popu_376","con":",https://blog.csdn.net/LeYOUNGER/article/details/79572279,"}'>阅读更多</a>
				</div>
				<script>
					(function(){
						function setArticleH(btnReadmore,posi){
							var winH = $(window).height();
							var articleBox = $("div.article_content");
							var artH = articleBox.height();
							if(artH > winH*posi){
								articleBox.css({
									'height':winH*posi+'px',
									'overflow':'hidden'
								})
								btnReadmore.click(function(){
									articleBox.removeAttr("style");
									$(this).parent().remove();
								})
							}else{
								btnReadmore.parent().remove();
							}
						}
						var btnReadmore = $("#btn-readmore");
						if(btnReadmore.length>0){
							if(currentUserName){
								setArticleH(btnReadmore,3);
							}else{
								setArticleH(btnReadmore,1.2);
							}
						}
					})()
				</script>
				</article>

				<div class="recommend-item-box recommend-box-ident type_blog clearfix" data-track-view='{"mod":"popu_614","con":",https://blog.csdn.net/hahajinbu/article/details/79650336,BlogCommendFromBaidu_1"}' data-track-click='{"mod":"popu_614","con":",https://blog.csdn.net/hahajinbu/article/details/79650336,BlogCommendFromBaidu_1"}'>
		<div class="content">
			<a href="https://blog.csdn.net/hahajinbu/article/details/79650336?utm_source=blogxgwz2" target="_blank" title="kaggle的toxic_comment_classification比赛21th经验总结">
			<h4 class="text-truncate oneline">
					kaggle的toxic_comment_classification比赛21th经验总结				</h4>
			<div class="info-box d-flex align-content-center">
				<!-- <p class="avatar">
						<img src="https://avatar.csdn.net/8/1/F/3_hahajinbu.jpg" alt="hahajinbu" class="avatar-pic">
						<span class="namebox">
							<span class="name">hahajinbu</span>
							<span class="triangle"></span>
						</span>
				</p> -->
				<p class="date-and-readNum">
					<span class="date hover-show">03-22</span>
					<span class="read-num hover-hide">
						<svg class="icon csdnc-yuedushu" aria-hidden="true">
							<use xlink:href="#csdnc-yuedushu"></use>
						</svg>
						1195</span>
					</p>
				</div>
			</a>
				<p class="content">
					<a href="https://blog.csdn.net/hahajinbu/article/details/79650336?utm_source=blogxgwz2" target="_blank" title="kaggle的toxic_comment_classification比赛21th经验总结">
						<span class="desc oneline">这个比赛可以说是一波三折，本来应该早早就结束了，结果因为数据泄露更换了数据，中途还更换过评价指标，不过好在最后还是顺利结果，我们队伍拿到了前1%的成绩（21/4551），属于不是很好但是也不是很坏的结...</span>
					</a>
                    						<span class="blog_title_box oneline"><a target="_blank" href="https://blog.csdn.net/hahajinbu?utm_source=blog_pc_recommand">来自：	<span class="blog_title"> CODE and POEM</span></a></span>
                    					</p>
		</div>
				</div>
					<div class="recommend-item-box recommend-box-ident type_blog clearfix" data-track-view='{"mod":"popu_614","con":",https://blog.csdn.net/starzhou/article/details/72623158,BlogCommendFromBaidu_3"}' data-track-click='{"mod":"popu_614","con":",https://blog.csdn.net/starzhou/article/details/72623158,BlogCommendFromBaidu_3"}'>
		<div class="content">
			<a href="https://blog.csdn.net/starzhou/article/details/72623158?utm_source=blogxgwz3" target="_blank" title="Kaggle 数据挖掘比赛经验分享 (转载)">
			<h4 class="text-truncate oneline">
					Kaggle 数据挖掘比赛经验分享 (转载)				</h4>
			<div class="info-box d-flex align-content-center">
				<!-- <p class="avatar">
						<img src="https://avatar.csdn.net/4/E/7/3_starzhou.jpg" alt="starzhou" class="avatar-pic">
						<span class="namebox">
							<span class="name">starzhou</span>
							<span class="triangle"></span>
						</span>
				</p> -->
				<p class="date-and-readNum">
					<span class="date hover-show">05-22</span>
					<span class="read-num hover-hide">
						<svg class="icon csdnc-yuedushu" aria-hidden="true">
							<use xlink:href="#csdnc-yuedushu"></use>
						</svg>
						824</span>
					</p>
				</div>
			</a>
				<p class="content">
					<a href="https://blog.csdn.net/starzhou/article/details/72623158?utm_source=blogxgwz3" target="_blank" title="Kaggle 数据挖掘比赛经验分享 (转载)">
						<span class="desc oneline">
念叨叨小姐
关注
专栏目录
从零实现深度学习框架——带Attentiond的Seq2seq机器翻译
日积月累，天道酬勤
07-11 865
本文介绍如何应用注意力机制到seq2seq中。
【ChatGPT】大模型深度学习系统科学的视角——“大模型”深度学习是结构与组合的艺术 Deep learning is the art of architecture and composition
程序员光剑
03-22 2万+
按照“涌现”的方法来研究这样的系统，就是要在计算机上实现一个模拟的交易市场，并且创造若干相互买卖的虚拟“人”，每个“人”都用计算机编好的规则进行买卖的决策，虽然现实中的人用到的决策规则远远比计算机模型中的“人”的模型复杂的多，但是这样的近似还是有意义的，因为当若干这样的个体组合在一起构成系统的时候，宏观经济系统的一些现象就会自下而上的“涌现”出来，这些涌现出来的现象在很多方面还是客观反映真实经济系统的。系统表现出来的整体性质是各个基础神经元并不具备的新的属性，也不是所有基础神经元特性的简单叠加。
[比赛记录] 主流机器学习模型模板代码+经验分享[xgb, lgb, Keras, LR]
LeYOUNGER的博客
11-30 6877
最近打各种比赛，在这里分享一些GeneralModel，稍微改改就能用的
RecBole小白入门系列博客（二） ——General类模型运行流程
Turinger_2000的博客
12-10 1万+
RecBole小白入门系列博客（一）——General类模型运行流程选定模型并设置参数选定数据集并设置参数 选定模型并设置参数 RecBole中共有13个General类模型可供使用，模型列表如下： General模型列表 Pop ItemKNN BPR NeuMF ConvNCF DMF FISM NAIS SpectralCF GCMC NGCF LightGCN DGCF 关于模型的具体信息可以查看上面的链接，我们以模型BPR为例， 选定数据集并设置参数 ...
chatgpt赋能python：Python装Model库必须的步骤和方法
b45e1933f46的博客
06-17 2160
本文介绍了如何在Python中安装和使用Model库。采用正确的步骤和方法，你可以轻松管理和更新库，并使用更多的功能来扩展你的Python程序的能力。记得时常跟进最新版本的库，以便最大化地利用Python提供的各种功能。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。
论文翻译 || openpose -- Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
magic_ll的博客
09-03 3664
摘要 我们提出了一个方法，能够在一张图中高效的识别出多人的2D姿态。该方法运用了非参数表示（non-parametric representation），我们称之为部分亲和域（PAFs：Part Affinitu Fields）,用它来学习怎样将身体部分和个体联系起来。这个结构编码了全局信息，并允许一个贪婪的从底向上的解析步骤，这在实现实时性能时，有着高度的精准且无须考虑图像中人的数量。这个结构被设计成相同顺序预测过程的两个分支，来联合学习部分位置（关节点）以及它们之间的关联（相邻的关节点的连接关系）。我们
3D视觉——2.人体姿态估计(Pose Estimation)入门——OpenPose含安装、编译、使用（单帧、实时视频）
对方正在输入中...
07-01 7568
本章博客就是对OpenPose工具包进行开发；我呕心沥血（笑哭），经历重重困难，想放弃了很多次（因为openpose的编译实在是太麻烦了）但是后来还是成功了，各位点个赞吧！这个真的太麻烦了。按照单帧图像和实时视频的顺序述写，其中单帧是使用的Pytorch编程只是调用OpenPose的模型；实时视频中使用Python调用OpenPose的包，所以必须得安装OpenPose，并对其进行编译，最后再使用。首先从github上，下载CMU提供的源码下来：https://github.com/CMU-Perceptu
引用度最高的20篇深度学习论文
02-03
深度学习是人工智能领域的一个重要分支，它通过模拟人脑神经网络的工作原理，让计算机能够从大量数据中自动学习特征并进行预测或决策。这20篇被引用次数极高的深度学习论文代表了该领域的核心研究和发展趋势，对于...
【目标检测】基于深度学习的焊接件表面缺陷检测(yolov5算法，附代码和数据集)
最新发布
学无止境、积少成多、厚积薄发
04-21 504
基于深度学习的焊接件表面缺陷检测(yolov5算法，附代码和数据集)
五篇关于人工智能+深度学习+遥感数据的论文下载分享
05-15
2.基于深度动态学习神经网络和辐射传输模型地表温度反演算法研究 3.A General Paradigm for Retrieving Soil Moisture and Surface Temperature from Passive Microwave Remote Sensing Data Based on Artificial ...
OpenPose 基于OpenCV DNN 的多人姿态估计
长风破浪会有时，直挂云帆济沧海
03-29 5181
原文: OpenPose 基于OpenCV DNN 的多人姿态估计 - AIUAI OpenPose 可以对图片中单个人体目标的姿态估计，也可以处理图片中多人的姿态估计. OpenPose 基于OpenCV DNN 的单人姿态估计 - AIUAI 这里主要记录基于 OpenCV 4.x DNN 模块和 OpenPose 开源模型的多人人体姿态估计 的实现. 采用的模型的基于 COCO 数据集训...
Openpose多人骨骼特征点标记
cungudafa的博客
03-13 2237
运行截图： 原文链接：https://www.aiuai.cn/aifarm946.html 源码： #!/usr/bin/python3 #!--*-- coding: utf-8 --*-- import os import cv2 import time import numpy as np import matplotlib.pyplot as plt class general...
matlab中的指数函数拟合,matlab指数函数拟合x=[39;47;45;47;65;46;67;42;6...
weixin_31749299的博客
03-17 4871
答：利用cftool工具可以很快得到结果。 General model Exp1: f(x) = a*exp(b*x) Coefficients (with 95% confidence bounds): a = 101.8 (92.97, 110.6) b = 0.006974 (0.005257, 0.00869) Goodness of fit: SSE: 2459 R-square: 0....
文本相似度和文本匹配模型归纳总结（附keras代码）
永远飞翔的鸟
11-15 5240
1.文本相似度，文本匹配模型归纳总结 DSSM详解 ESIM详解 ABCNN详解 BiMPM详解 DIIN详解 DRCN详解 https://blog.csdn.net/u012526436/article/details/90179466 2. 短文本相似度计算方法 https://blog.csdn.net/baidu_26550817/article/details...
Keras框架（二）：实现文本相似度的几种模型（代码）
qq_24140919的博客
04-23 5159
根据已学的知识，将几种深度学习模型运用到自己最近的科研项目——文本相似度： 使用框架：Keras 模型：深度学习相关模型 1. LSTM实现文本相似度： def get_model(nb_words, EMBEDDING_DIM, embedding_matrix, MAX_SEQUENCE_LENGTH, num_lstm, rat...
[比赛分享] Kaggle-Toxic Comment 中使用的各种深度学习模型, 处理方法和套路
LeYOUNGER的博客
03-21 3905
摘要 最近在做一个Kaggle比赛， 于此分享一下所使用的DL模型（经过简化），希望能对初学者有所帮助。 （最后结果，公榜23/4512，私榜87/4512，过拟合了啊啊啊啊T.T） 比赛地址： https://www.kaggle.com/c/jigsaw-toxic-comment-classification-challenge 模型中所使用的词嵌入请参看如下博客： ...
用matlab进行指数拟合
热门推荐
COCO56的博客
09-15 4万+
文章目录1. 操作步骤2. 用cftool 拟合的图形如何保存成图像格式？ 1. 操作步骤 运行如下代码：x=[1982 1992 2002]; y=[103.5 34.5 23.3]; cftool(x,y) 选择Exponential 在左侧就可以看到结果： General model Exp1: f(x) = aexp(bx) Coefficients (with 95% confi...
深度学习常用概念!
generalsong的博客
11-17 356
1.深度学习中的batchsize, iterator, epoch batchsize:批大小，比如SGD中的BP一次就是用的一批的数据 iterator:迭代次数，1个iterator相当于用一个batch训练一次 epoch:训练集中全部的数据被用过一次，叫一个epoch 举个例子，在不考虑每个batch之间发生样本交叉的情况下，假设有1000个样本，batchsize是10，那么用过全部...
深度学习笔记——情感分析
mpk_no1的博客
05-11 3万+
本文使用三种深度学习方法对IMDB评论进行情感分析。这三种方法为：MLP、BiRNN（LSTM、GRU）、BiGRU+Attention。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值