打好天池比赛的步骤

如何在比赛中取得好成绩并成为大牛:

  • 会基本知识
  • 掌握学习方法
  • 用于实践
  • 多与人交流

参与天池比赛需要会的基础知识

xgb,lgb,catboost,numpy,matplotlib,seaborn,sklearn,keras 常用的基础数据数据挖掘常用的类(PS:sklearn可以多学一点,在无论图像还是自然处理还是数据挖掘等都需要sklearn的知识)

参见比赛的步骤

  • 报名参赛(PS:报名时注意要求,实名认证)
  • 下载数据集
  • 在本地或者远端训练数据,
  • 测试结果。

比赛的基本知识

首先在比赛时候创建一个基本的baseline然后对模型进行一步一步的改增。
对于打比赛的基本的内容包括

  • 赛题理解:
  • 探索性数据分析:
  • 特征工程
  • 模型调参
  • 模型融合
    在这里插入图片描述

探索性数据分析:

目的:
在这里插入图片描述EDA的基本方法:绘图方法,量化方法:
绘图方法:(原始图像,统计图,特征模块化相同)
基本图形:
折线图:随时间变化
直方图:数据分布
密箱型图度曲线图:概率密度函数
箱型图:便于查看异常值
小提琴图:可以看出某个值分布的频率(升级版箱型图)
在这里插入图片描述

量化方法:(统计表述:偏度方差峰值,取值范围,大概分布)

相关性分析方法:
定类变量:名义变量(男女)
定序变量:不仅分类,特性排序(消费能力1-5)
定距变量:可以比较大小,差值有意义
在这里插入图片描述
第三方师傅
这里提供了一个mvtest的一个独立相关性判断的方法,可以通过下面这个github连接来学习和使用,原则作者已经将去做成了一个包使用时候可以进行调用。

特征工程:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

建模调参

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

模型融合

在前期不要太相似,需要相似的评分,差异的结果,前期不能太相通,增加鲁棒性,模型融合基于单模型,通过融合多模型来提升结果
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

以下是阿里云天池比赛“零基础入门NLP之新闻文本分类”中,一个样例的情感分析代码: ```python import pandas as pd import numpy as np import jieba import gensim from sklearn.feature_extraction.text import CountVectorizer from sklearn.feature_extraction.text import TfidfTransformer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # 读取数据集 train_data = pd.read_csv('train_set.csv') test_data = pd.read_csv('test_set.csv') # 对训练集进行分词 train_data['text'] = train_data['text'].apply(lambda x: " ".join(jieba.cut(x))) # 对测试集进行分词 test_data['text'] = test_data['text'].apply(lambda x: " ".join(jieba.cut(x))) # 训练词向量模型 model = gensim.models.Word2Vec(train_data['text'], size=100, window=5, min_count=5, workers=4) # 将词向量转化为文本向量 def get_text_vector(text): words = text.split() vector = np.zeros(100) for word in words: if word in model: vector += model[word] return vector train_data['vector'] = train_data['text'].apply(get_text_vector) test_data['vector'] = test_data['text'].apply(get_text_vector) # 将文本向量转化为特征矩阵 X = np.stack(train_data['vector'].values) y = train_data['label'].values X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) # 训练朴素贝叶斯分类器 classifier = Pipeline([ ('count_vec', CountVectorizer()), ('tfidf_transformer', TfidfTransformer()), ('clf', MultinomialNB(alpha=0.01)) ]) classifier.fit(X_train, y_train) # 预测测试集结果 y_pred = classifier.predict(X_test) print(classification_report(y_test, y_pred)) ``` 这段代码使用了jieba分词、gensim训练词向量模型、朴素贝叶斯分类器等技术,对新闻文本进行情感分析。其中,将文本转化为特征矩阵的过程使用了词袋模型和TF-IDF方法。最终,代码输出了测试集的分类报告。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值