实现keras.textvectorization自由tf-idf篇

本篇,带你简略了解如何使用keras.textvectorization来处理词袋模型(tfidf)计算

1、替换:如果发现以下内容实现存在障碍,请替换方法:适用sklearn来计算tf-idf,sklearn里也有包装比较好的各类如tfidfVectorize等模块方法,通过fit-transform来实现

2、keras.textvectorization的区别及优点:

2.1--------

更与神经网络建模搭边儿,意思这坨东西(可以形成类似于sklearn里的pipeline的流程的一个step)可以放在keras的模型如sequencial等自行包装

2.2--------

也意味着它计算出的东西是tensorflow家族的张量

2.3--------

既然张量,那么存在gpu加速计算的契机

3、建模场景下的思维梳理 

3.1、说明:3.2会描述在完整一套建模demo里,它整个一坨应该放在哪里

3.2:步骤:

3.2.1、假设你有一份data,并作必要清理加工

3.2.2、你的data中有一列,比如叫news,data['new'] 这一列选定为计算tfidf的目标文本列

3.2.3、将data['news'] 变换到 data['news_keras_style'],这一步的意思是,你需要将数据变换一定程度,以符合喂入keras.text_vectorization前的样子(具体什么样子?别急,之后说)

3.2.4、此时,配置好keras.t

  • 17
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

托米老师代号9527

卡布奇诺满上

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值