数据预处理
-
对爬取到的面经数据,按照公司进行分类:
interview_classify
- 匹配标题、合并公司的不同表达等等
-
数据清理:
data_cleaning.py
- 清洗数据,转换不规整的表达形式
- 有些内容为空,我把url存下来交给爬虫同学再爬数据
-
长数据分割:
split_data.py
- 最开始的免费服务器GPU缓存不够,需要把数据拆分
- 分别按照条数和文本大小做了切分
知识抽取
面试问题抽取
- 对面试经验以句子为单位聚类:
cluster.py
- 分别尝试了kmeans、dbscan、层次聚类,最后采用层次聚类
- 对聚类结果提取提取面试问题:
- 使用function call功能格式化输出
tool_register.py
:注册工具,包括对提取面试问题的描述
ques_summery_functioncall.py
调用 - 使用promtp指定格式化输出并用json加载
ques_summery.py
- 后者比较稳定,最后用第二个方法批量式输出
- 使用function call功能格式化输出
关键词抽取
- 以分类句子为单位,抽取关键词:
keyword_extract.py
前端代码编写
-
写了面试经验
experience.vue
和公司一览company
-
讲面试经验与公司一览合并,加强封装:
inerviewExperience
-
写了两个组件:
ExperienceBlog.vue
和JobInformationCard.vue
-
在没有后端数据的情况下,使用mock模拟数据的返回:
/mockindex.js
与getData.js
中的一部分内容