被大佬启悟到算法思想特此记录

一、mysql在分库分表后如何做到插入id自增且唯一

答：使用去中心化的思想，借助mac地址、时间戳等一些第三方的标志符用hash生成唯一id，如果是同一毫秒进来的数据，再对这同一毫秒的数据做一个计数，继续生成唯一标识符对数据做区分，这样就可以完成去中心化，免除对id做自增时的第三方服务可能会宕机的问题。

二、分库分表后如何进行高性能的查询

答：使用类似于跳板机的服务，将你的sql整体传入到服务层，服务层对sql进行拆分查询，等结果出来再将结果做计算返回给请求者

三、100亿的字符串文件怎么做去重

答：这个问题 我首先想到的是用hive+spark来对数据做去重，其实这个解决问题的想法是没错的，但是关键在于怎么将数据拆开，

还是一个大佬给了我解决思路，那就是流式读取，这样就不会存在文件太大内存爆掉的问题，然后对你读取到的每一个字符串做hash，将hash值相同的字符串push到同一个路径下，这样就实现了离线的大数据量去重