房产行业聊天问答匹配 -pytorch方案

最新推荐文章于 2023-08-31 23:48:49 发布
最新推荐文章于 2023-08-31 23:48:49 发布
阅读量744 收藏 5
点赞数
分类专栏： 深度学习 python 机器学习 文章标签： 人工智能 算法 机器学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javaisnotgood/article/details/109736643
版权

房产行业聊天问答匹配

竞赛地址：https://www.datafountain.cn/competitions/474

问题描述

在这里插入图片描述

方案

首先将该问题归结为NLP中的NSP任务（预测下一个句子），然后采用目前较为先进的基于chinese预训练的bert系的相关算法。在transformer库中这些算法的使用方式变得更为简单便捷，所以我们使用pytorch + transformer进行建模

代码

详细代码可见
pytorch-solution

心之所向丶7
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
百度地图毕业设计源码-ccf_2020_beike_qa_match:2020年CCF大数据与计算智能大赛-贝壳找房-房行业聊天问答匹配，比赛
06-06
百度地图毕业设计源码 比赛 贝壳找房-房行业聊天问答匹配，比赛地址： 写在前面 这是我第一次正式参加一个大型的NLP比赛，全程solo，经过一个多月的努力，最终结果是A榜70+，B榜60+。虽然结果不够理想，但在整个过程中学习到了很多知识，踩了不少坑，在赛后也认识到了很多不足的地方。因此决定在这个仓库内总结回顾一下自己的一些思路方法，代码也相应的共享出来。第一次在github上记录，有些地方写的像流水账，轻喷QAQ。如果有幸能帮到你，那还请顺手点个star吧~ 本项目都是基于pytorch实现的。 数据 首先来说说数据，此次赛题是以房产中介为背景，客户与中介的问答文本作为数据，客户的一个问题对应n个候选回答，这其中有0~n个候选回答是这个问题的正确回答。 数据处理 由于BERT里的token是字符级别的，因此我没有做分词，停用词和标点符号我也没有做处理，因为我觉得部分停用词和标点符号在问答场景下可以提供特定的信息。最终，我只是将question和reply做成了pair对。 预训练模型 BERT for ever~本项目用的都是BERT，后期模型融合的时候用到了RoBERTa。 BER
NLP： 基于自然语言处理的咨询平台知识库系统.zip
04-21
基于自然语言处理的咨询平台知识库系统 基于自然语言处理的知识库系统、咨询、问答库 项目采用maven的项目管理工具管理，并且采用的Spring cloud、SpringBoot微服务框架开发。此处建议使用idea工具进行编辑开发。
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-31 3159
​ Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 目录 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 Abstract摘要 1 Introduction引言 2、Methodology方法 3、Datasets数据集：大多都是英文指令
使用matchzoo解决房产行业问答匹配比赛问题
yingdajun的博客
05-12 540
前言 参加了贝壳找房的房产问答匹配比赛（比赛链接：https://www.datafountain.cn/competitions/474），于是利用matchzoo库解决房产行业问答匹配比赛问题。 比赛流程 导入第三方库包 import matchzoo as mz import pandas as pd import numpy as np import numpy as np import tensorflow.keras as K from matchzoo.preprocessors
使用keras+bert进行房产行业聊天问答匹配
Yang_137476932的博客
11-04 1774
比赛菜鸟，给一个keras版本的bert baseline。 比赛地址：https://www.datafountain.cn/competitions/474 代码地址：https://github.com/WhiteGive-Boy/ccf_beike 代码参考苏大神的keras下bert的使用，其博客https://kexue.fm/archives/6736 贝壳问答匹配给定的数据形式如下： 中文bert预训练模型下载：https://github.com/google-research/bert
房产聊天问答匹配高分方案学习1
小姑仔的博客
11-23 316
高分方案上 高分方案代码解析Post training(预训练的后操作)进行point-post-training-wwm-sop.py和pair-post-training-wwm-sop.py的训练1.分析point-post-training-wwm-sop.py文件next_sentence_prediction structmlm struct Post training(预训练的后操作) 首先需要提取出一个新的词表 这里面提取词表采用的是最小熵原理 具体的操作步骤可以参考苏神的博客 最小熵原理
【数据竞赛】一文看懂CCF BDCI 2020赛题任务与解析
fengdu78的博客
11-01 5820
赛事介绍 CCF BDCI大赛已成功举办七届，参赛规模与影响力逐年提升，累计吸引到来自全球25个国家、1500余所高校、1800家企事业单位及80余所科研机构的9万余人参与，有100多所...
聊天问答
qq_21793443的博客
03-01 291
聊天问答网站前端原型图
用深度学习解决问答（QA）方法_语义匹配
热门推荐
hlang8160的博客
12-11 1万+
有两种思路： 采用ad-hoc检索方式 1.首先获取原有的数据集qa-pairs 2.用户提出的问题，进行预处理后，先从数据集中获取，相关的10个预选答案，可以采用Lucene全文检索方法。 3.之后采用深度文本匹配模型（drmm），从10个预选答案中选出分数最高的答案作为最终的答案。 参考： https://www.chedong.com/tech/lucene.html A
投资知道 基于BERT的中文问答匹配检测
zp563987805的博客
02-17 4216
投资知道 最佳答案推荐 本项目基于BERT中文预训练模型，使用huggingface transformers开源工具库实现中文关于投资知道的最佳问答系统的模型实现。 问题适用场景：投资问答/论坛等，根据已有的答复，推荐与问题最匹配的答案 模型、代码及数据下载地址 下载链接： 原始BERT预训练模型为chinese_wwm_pytorch，下载地址哈工大崔一鸣开源的中文预训练模型，网盘上也有，主...
Chinese-Text-Classification-Pytorch-mas
09-20
Chinese-Text-Classification-Pytorch-master。 数据齐全，说明文档详细。点击即用！ # 训练并测试： # TextCNN python run.py --model TextCNN # TextRNN python run.py --model TextRNN # TextRNN_Att python ...
MVSNet-pytorch版 源码 MVSNet-pytorch-master
08-27
MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-masterMVSNet_pytorch版 源码 ...
Dive-into-DL-PyTorch.rar
06-10
Dive-into-DL-PyTorch.pdf 和Dive-into-DL-PyTorch-master(for chinese version) 资料pytorch
a-PyTorch-Tutorial-to-Image-Captioning-master_pytorch_
09-30
讲解如何入门PyTorch，包括基础原理知识、numpy与PyTorch的区别以及案例研究实例
RandLA-Net-pytorch:RandLA-Net（https的Pytorch实施
05-23
我们的Pytorch实施 0.529 每课时 密欧 车 自行车 摩托车 卡车 其他车辆 人 骑自行车的人 电单车司机 路 停车处 人行道 其他地面 建造 栅栏 植被 树干 地形 极 交通标志 52.9 0.919 0.122 0.290 0.660 0.444 ...
pandas进行分组统计
javaisnotgood的博客
05-31 3999
需要获取foursquare中每个用户每个签到地点的频次 可以用到pandas中groupby方法 data_ny.groupby(by=['userId','venueId']).size() 然后将userId ，venueId，频次写入csv中 userId = [] venueId = [] count = [] for i in data_gb: userId...
不同数据循环使用同一模型tensorflow-gpu计算图后自动释放显存
javaisnotgood的博客
08-21 2169
https://stackoverflow.com/questions/39758094/clearing-tensorflow-gpu-memory-after-model-execution 由于tensorflow中使用完gpu后并不会自动释放显存，所以在循环利用同一个计算图时会不停的累加显存，无法释放显存。 然后从网上仅发现一种可行方案，即每次执行完计算图后都关闭当前进程，然后用其他进...
XGBoost和GBDT区别
javaisnotgood的博客
04-09 1262
介绍了大体的四个区别，并不详细，仅做参考。 1.传统GBDT以CART树作为基分类器，xgboost还支持线性分类器，可以为带L1和L2正则项的线性回归和逻辑回归。 2.GBDT优化时只用到了一阶导数信息，xgboost对损失函数进行二阶泰勒展开，用到了一阶和二阶导数。 3.xgboost在损失函数中加入正则项，控制模型的复杂度，防止过拟合。正则项中包含了树的叶子节点数和参数的L2范数。 ...
数据预处理中标准化-归一化的区别
javaisnotgood的博客
04-08 884
标准化： 标准化需要计算特征的均值和标准差，公式表达为 归一化： 区别： 简单来说，标准化是依照特...
mvsnet-pytorch版 源码 mvsnet-pytorch-master运行结果
最新发布
11-17
在实际运行中，mvsnet-pytorch-master的源码可以让我们更好地理解多视角立体匹配网络的原理和实现细节，也可以帮助我们进行模型的调试和改进。通过观察运行结果，我们可以评估模型的性能和准确度，同时也可以对输入...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值