如何改进算法以及上线策略

在互联网行业，如果你有很多用户，当你稍微修改一下算法，可能就会影响非常多的人。以最近淘宝搜索算法的变化为例：淘宝搜索核心算法做了较大的变动，使得许多淘宝卖家的利益受损。这些利益受损的人，当然是义愤填膺，非常的不满意。而获得利益的卖家，流量上涨，只是偷着乐，不会兴高采烈地跑出来说自己的生意如何如何的好。
"记者随机调查了3家2钻卖家，他们最近一周的店铺流量分别增加300%、240%和100%。"姑且不说这个记者是不是”随机“的调查。从这个流量的增加上看，淘宝的流量资源其实已经被重新划分了。难道淘宝也想制造一批”先富起来的”？
在这种情况下，我们应该如何改善我们算法的效果呢？我们是对已知算法做优化，对badcase做针对性的提高，一步一步的改进系统的效果。还是用一种非常牛逼的算法，一次性颠覆原有的东西，从而改造整个系统呢？这个问题真的很难回答。颠覆原有的东西，具有非常大的风险，同时也可能带来非常大的收益。如果没有足够的信心、足够的理由，对系统做大的改造，无疑是一种非常巨大的冒险。可能我们已经对我们自己的算法总了充分的测试，充分的评测，但是只要没有上线，总有我们无法预料的问题。
其实我挺想知道，google的算法每次变化有多么大。当他们对算法做重大调整的时候，到底是怎么决策的呢？
或许在重大变动之前，应该对风险做一些预估，应该有一些指标来评估风险。暂时想到以下几个指标：
1、会影响哪些用户？
2、哪些用户会觉得好？哪些会觉得差？好的多，还是差的多？
3、会不会流失优质核心客户？
4、上线前，我们的客服受到足够的培训了吗？
5、是否可以做一些内测，让一些用户线参与？