数据挖掘-公司别名聚合(三)

确定了从名称本身出发不靠谱，需要引入其他特征值，但是引入什么好呢？

前面说过了，我的公司名称来源是用户手动填写的，并且用户量巨大，所以最先被引入的变量就是人。

设想两个人，一个所填公司是“华为公司”，另一个是“华为科技有限公司”，我们不知道这两个是不是一个公司，但是如果我们知道了这两个人工作时间的ip在一个ip段，且工作时间地理位置重合，且社交网络中得好友关系重合度高，我们是不是可以高度怀疑这两个人是一个公司的，从而推出他俩填的公司名称属于一个公司。

前面说了我手头的数据量很大，上面说的数据我这里都有，说干就干。

从用户信息中挑选出以下几个我认为有用的字段：邮箱、ip、地理位置、社交网络中的好友关系

每个字段稍做一下说明：邮箱好理解，但是需要去除市面上的免费邮箱，方法就是通过后缀过滤。ip数据是通过客户端过来的，量很大。地理位置是通过app来的（呵呵大数据时代谈什么隐私对吧）。好友关系就是某社交网络的关系链。

个人觉得最好验证的数据是邮箱，所有先从邮箱入手，先建立一个市面上免费邮箱后缀的list，然后获取既填了邮箱又填了公司名称的人得信息，过滤以下免费邮箱，剩下的认为是公司邮箱。

接下来的做法比较重要，首先把填了相同公司名称的人归到一类，这样就完成了第一次分类，如填了“华为公司”的有100个人，那这100人就作为集合A，填了“华为技术有限公司”的有30个，这30人就作为集合B，每个人又分别对应一个邮箱，所以集合A对应了100个邮箱，将这100个邮箱后缀作为集合a，集合B对应了30个邮箱，那么这30个邮箱后缀就就作为集合b。接下来就好办了，计算a和b之间后缀相同的邮箱有多少对，比如有k对，那个k越大，就认为“华为公司”和“华为技术有限公司”就越有可能是一个公司。

实际数据跑下来以后发现效果一般，首先是过滤了免费邮箱以后数据量比较小，原因可能是大家还是不太愿意填写自己的公司邮箱。其次有很多公司丫办公用的是163邮箱。滤剩下的公司集合之间邮箱后缀相同对数太少，像宝洁、联想这样的大公司还行，剩下的小公司算出的对数都<=2，域值没法定了，看来单个特征效果也不理想，接下来需要尝试从多特征值出发，建立特征向量，并选择适合的分类算法进行分类。