Datawhale组队学习——打卡任务Task1赛题理解

Datawhale组队学习——打卡任务Task1赛题理解

赛题理解

赛题名称：零基础入门NLP之新闻文本分类
赛题目标：入门自然语言处理，接触NLP的预处理、模型构建和模型训练
赛题任务：对新闻文本进行分类属于典型的字符识别问题

学习目标

理解赛题背景与赛题数据
完成赛题报名和数据下载，理解赛题的解题思路

打开在网站下载的赛题数据文件，我们可以看到对应的训练集和测试集的下载网址，自行去对应网站下载数据集。

数据读取

使用Pandas库完成数据读取操作，并对赛题数据进行分析

解题思路

思路1：TF-IDF+机器学习分类器
直接使用TF-IDF对文本提取特征，并使用分类器进行分类。在分类器的选择上，可以使用SVM，LR，或者XGBoost
思路2：FastText
FastText是入门款的词向量，利用Facebook提供的FastText工具，可以快速的构建出分类器。
思路3：WordVec+深度学习分类器
WordVec是进阶款的词向量，并通过构建深度学习分类完成分类，深度学习分类的网络结构可以选择TextCNN、TextRNN或者BiLSTM。
思路4;Bert词向量
Bert是高配款的词向量，具有强大的建模学习能力。

个人工作小结

在论坛找到了Baseline(TD-IDF + LR/XGB) 0.93
尝试在自己电脑上运行Baseline
第一个小困难

解决办法：

打开anaconda自带的Prompt（即在win10搜索框输入cmd）

输入：
anaconda search -t conda xgboost

等候一会，继续输入
conda install -c anaconda py-xgboost

稍等在安装的时候提示y/n，输入y回车便会自动安装了。

第二个小困难

Classification metrics can’t handle a mix of multiclass and multilabel-indicator targets

代码运行出现错误，暂时还没找到解决办法!