列特征权重的生成

4月27日

近期，我对接了团队其他成员的实训进度，运用他们之前实现的功能代码以及对数据集进行的处理，开始着手准备匹配推荐算法的模块。我负责的是将数据集的数据进行深度学习的处理部分，并同实际将要运用的数据进行结构的对应处理。现在已经完成了深度模型中数据结构的设计、数据的载入与处理，实现了各列特征权重结果的生成与排序，为构建简历与岗位的匹配推荐值获得了相应的列特征权重。

结构的设计：

数据集中的数据离散化比较严重，而在深度学习的模型中，我们需要以特征的形式来将数据定量地生成结果，对于每一列的数据，需要进行初步分类的预处理。对于一些变量值，需要定义每个列相应的分类区间，通过key-value的形式保存，并在数据载入的时候进行处理。而对于数据集中的多行数据，进行统一的管理，将user表、jd表与action表载入进pandas包中相应的结构里面，再存储训练集和测试集的对应关系。之后，提取出各个列的列名，在运行过程中标记各个列中的特征情况进行存储，用于传入至深度学习的函数中获取权重。

数据的载入与处理：

数据从已有的数据集中获取，并载入到之前设计好的结构里面，进行去除停用词的处理，然后计算各个项中tf与idf的值，相关代码如下：

def get_str(x):
    return ' '.join([i for i in jb.cut(x) if i not in stop_words])

def get_tfidf(df, names, merge_id):
    tfidf_enc_tmp = TfidfVectorizer(ngram_range=(1, 2))
    tfidf_vec_t