在顶点课程中我们组被分配到一个非营利机构，这个机构帮助青年学生和科技领域中的专业人士建立联系，目的在于提升在校学生对科技产业的参与度（译者注：顶点课程capstone project是美国大学高年级学生的环节，类似于中国大学的毕业设计）。学生要和导师（专业人士）配对，导师与学生会面并带他们了解这个行业。每次会面后，学生和导师都需要对会面进行评分。满分是5分，1分是最低分。
这个机构根据学生的评分来衡量会面是否成功，因此他们想了解哪些特征和变量会提升评分。一旦有这些东西，我们就可以构建一个算法来匹配学生和导师，并生成一个在线图表界面进行可视化展示。
我们计划用Python完成算法和实现展示。 首先，我们进行数据清洗并定义语料库（Corpus），随后借助逻辑回归来识别重要特征，接着我们构建了匹配得分和分配算法，最终将所有内容打包并放到Flask图表界面中。
我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。
数据清洗和生成语料库
数据集由80多个特征组成，但是我们要尽量减少特征，最后选择了25个最重要的特征。数据集中的数值型数据相对干净，但字符型数据比较乱，需要对数据进行标准化处理。
我们对输入文本进行了自然语言处理。首先将所有用户的文本字段汇总在一起；随后用Python中的NLTK包进行分词；接着我们去掉了其中的表情符号、终止词和标点，并对剩余的词进行词形还原。300余名用户的原始单词集中有81000个词汇，在文字处理后，词汇数量减少到了54000个。最后，我们统计每个单词在数据集中出现的频数并删除出现次数少于5次的单词。最终，唯一的词汇列表形成语料库。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
