观察数据,发现了标题中常见的一些公司,例如“华为、美团、阿里”等,根据标题过滤,将牛客上爬到的数据按照不同的公司分类,并存储在json文件中。
1. 我定义了一个公司列表文件,里面列举了常见的公司
2. 遍历同学爬到的csv文件,在标题中使用正则查找这些公司
如果标题里没有这些公司,判定为小厂,直接去掉
合并相同指向的公司如下:
删去条数少于5条的公司:
3. 将原先的内容转换成json存储如下,json的结构更清晰:
公司名是键,公司对应的值是一个数组,数组中存放该公司的面试经验
数组中每个元素是个字典,表示一个面试经验帖子,分为 `title`、`content`、`url`
4. 数据清洗,见另一个博客内容
5. 讲数据按照不同的公司存放成json,最终筛选出26个公司的面试经验