sqrt方法复杂度探讨
有一次，博主在解一个问题时，由于开方花费了大量时间从而导致时间复杂度过高而无法AC，博主决定研究一下sqrt的复杂度。
二分法
对开方这个操作，二分法是最直观的方案，也非常易于理解。
// 二分法
double mysqrt1(int m){
if(m <= 1){
return m;
}
double last = 0;
double start = 0;
double end = m;
double mid = (start + end)/2;
while(abs(last-mid) > exp){
if(mid * mid > m){
end = mid;
}
else{
start = mid;
}
last = mid;
mid = (start + end)/2;
}
return last;
}
不断以二分方式逼近解，当误差小于给定值exp时，即得到了开方的解。
牛顿下降法
牛顿下降法的原理为：
求根号a的近似值，相当于求f(x) = x^2-a的解。首先随便猜一个近似值x，然后不断令x等于x和a/x的平均数，迭代个六七次后x的值就已经相当精确了。
这种算法的原理很简单：
仅仅是不断用(x,f(x))的切线来逼近方程x^2-a=0的根。根号a实际上就是x^2-a=0的一个正实根，这个函数的导数是2x。也就是说，函数上任一点(x,f(x))处的切线斜率是2x。那么，设下一轮迭代新解为k，直线的等式为：(x-k)*2x =f(x)，k=x-f(x)/(2x)就是一个比x更接近的近似值。代入f(x)=x^2-a得到k = x-(x^2-a)/(2x)，也就是k = (x+a/x)/2。
例如，我想求根号2等于多少。假如我猜测的结果为4，虽然错的离谱，但你可以看到使用牛顿迭代法后这个值很快就趋近于根号2了：
( 4 + 2/4 ) / 2 = 2.25
( 2.25 + 2/2.25 ) / 2 = 1.56944…
( 1.56944…+ 2/1.56944…) / 2 = 1.42189…
( 1.42189…+ 2/1.42189…) / 2 = 1.41423…
// 牛顿迭代法
double sqrt_by_newton(int m){
double last = m;
double ans = m;
ans = (ans + m/ans) / 2;
while(abs(ans - last) > exp){
last = ans;
ans = (ans + m/ans) / 2;
}
return ans;
}
牛顿下降法的速度相对于二分法的速度，快很多。
约翰-卡马克（John Carmack）
引入：一个神奇的算法
float InvSqrt(float x)
{
float xhalf = 0.5f*x;
int i = *(int*)&x; // get bits for floating VALUE
i = 0x5f375a86- (i>>1); // gives initial guess y0
x = *(float*)&i; // convert bits BACK to float
x = x*(1.5f-xhalf*x*x); // Newton step, repeating increases accuracy
x = x*(1.5f-xhalf*x*x); // Newton step, repeating increases accuracy
x = x*(1.5f-xhalf*x*x); // Newton step, repeating increases accuracy
return 1/x;
}
经研究，这个算法起初来源于一个游戏的源码。然后，这就有了另一个故事了。
Quake-III Arena (雷神之锤3)是90年代的经典游戏之一。该系列的游戏不但画面和内容不错，而且即使计算机配置低，也能极其流畅地运行。这要归功于它3D引擎的开发者约翰-卡马克（John Carmack）。事实上早在90年代初DOS时代，只要能在PC上搞个小动画都能让人惊叹一番的时候，John Carmack就推出了石破天惊的Castle Wolfstein, 然后再接再励，doom, doomII, Quake…每次都把3-D技术推到极致。他的3D引擎代码资极度高效，几乎是在压榨PC机的每条运算指令。当初MS的Direct3D也得听取他的意见，修改了不少API。
最近，QUAKE的开发商ID SOFTWARE 遵守GPL协议，公开了QUAKE-III的原代码，让世人有幸目睹Carmack传奇的3D引擎的原码。这是QUAKE-III原代码的下载地址： http://www.fileshack.com/file.x?fid=7547
我们知道，越底层的函数，调用越频繁。3D引擎归根到底还是数学运算。那么找到最底层的数学运算函数（在game/code/q_math.c）， 必然是精心编写的。里面有很多有趣的函数，很多都令人惊奇，估计我们几年时间都学不完。在game/code/q_math.c里发现了这样一段代码。它的作用是将一个数开平方并取倒，经测试这段代码比(float)(1.0/sqrt(x))快4倍：
float Q_rsqrt( float number )
{
long i;
float x2, y;
const float threehalfs = 1.5F;
x2 = number * 0.5F;
y = number;
i = * ( long * ) &y; // evil floating point bit level hacking
i = 0x5f3759df - ( i >> 1 ); // what the fuck?
y = * ( float * ) &i;
y = y * ( threehalfs - ( x2 * y * y ) ); // 1st iteration
// y = y * ( threehalfs - ( x2 * y * y ) ); // 2nd iteration, this can be removed
#ifndef Q3_VM
#ifdef __linux__
assert( !isnan(y) ); // bk010122 - FPE?
#endif
#endif
return y;
}
函数返回1/sqrt(x)，这个函数在图像处理中比sqrt(x)更有用。
注意到这个函数只用了一次叠代！（其实就是根本没用叠代，直接运算）。编译，实验，这个函数不仅工作的很好，而且比标准的sqrt()函数快4倍！要知道，编译器自带的函数，可是经过严格仔细的汇编优化的啊！
这个简洁的函数，最核心，也是最让人费解的，就是标注了“what the fuck?”的一句
i = 0x5f3759df - ( i >> 1 );
再加上y = y * ( threehalfs - ( x2 * y * y ) );
两句话就完成了开方运算！而且注意到，核心那句是定点移位运算，速度极快！特别在很多没有乘法指令的RISC结构CPU上，这样做是极其高效的。
算法的原理其实不复杂,就是牛顿迭代法,用x-f(x)/f’(x)来不断的逼近f(x)=a的根。
没错，一般的求平方根都是这么循环迭代算的但是卡马克(quake3作者)真正牛B的地方是他选择了一个神秘的常数0x5f3759df 来计算那个猜测值，就是我们加注释的那一行，那一行算出的值非常接近1/sqrt(n)，这样我们只需要2次牛顿迭代就可以达到我们所需要的精度。好吧如果这个还不算NB,接着看:
普渡大学的数学家Chris Lomont看了以后觉得有趣，决定要研究一下卡马克弄出来的这个猜测值有什么奥秘。Lomont也是个牛人，在精心研究之后从理论上也推导出一个最佳猜测值，和卡马克的数字非常接近, 0x5f37642f。卡马克真牛，他是外星人吗？
传奇并没有在这里结束。Lomont计算出结果以后非常满意，于是拿自己计算出的起始值和卡马克的神秘数字做比赛，看看谁的数字能够更快更精确的求得平方根。结果是卡马克赢了… 谁也不知道卡马克是怎么找到这个数字的。
最后Lomont怒了，采用暴力方法一个数字一个数字试过来，终于找到一个比卡马克数字要好上那么一丁点的数字，虽然实际上这两个数字所产生的结果非常近似，这个暴力得出的数字是0x5f375a86。
Lomont为此写下一篇论文，“Fast Inverse Square Root”。 论文下载地址：
http://www.math.purdue.edu/~clomont/Math/Papers/2003/InvSqrt.pdf
http://www.matrix67.com/data/InvSqrt.pdf
测试
博主参考了上述内容，并编码测试了性能。
#include <bits/stdc++.h>
#define exp 0.000001
using namespace std;
clock_t t1, t2, t3, t4, t5, t6, t7;
// 二分法
double mysqrt1(int m){
if(m <= 1){
return m;
}
double last = 0;
double start = 0;
double end = m;
double mid = (start + end)/2;
while(abs(last-mid) > exp){
if(mid * mid > m){
end = mid;
}
else{
start = mid;
}
last = mid;
mid = (start + end)/2;
}
return last;
}
// 牛顿迭代法
double sqrt_by_newton(int m){
double last = m;
double ans = m;
ans = (ans + m/ans) / 2;
while(abs(ans - last) > exp){
last = ans;
ans = (ans + m/ans) / 2;
}
return ans;
}
// 骚操作，必须使用float而不能用double
float InvSqrt(float m){
float mhalf = 0.5f * m;
int i = *(int*)&m;
i = 0x5f375a86 - (i>>1); // 这个常数是多次测试后找到的最精确的
m = *(float*)&i;
m = m*(1.5f-mhalf*m*m); // 迭代次数取决于所要求的精度
// m = m*(1.5f-mhalf*m*m);
// m = m*(1.5f-mhalf*m*m);
return 1/m;
}
// 约翰-卡马克（John Carmack）
float Q_rsqrt( float number )
{
long i;
float x2, y;
const float threehalfs = 1.5F;
x2 = number * 0.5F;
y = number;
i = * ( long * ) &y; // evil floating point bit level hacking
i = 0x5f3759df - ( i >> 1 ); // what the fuck?
y = * ( float * ) &i;
y = y * ( threehalfs - ( x2 * y * y ) ); // 1st iteration
// y = y * ( threehalfs - ( x2 * y * y ) ); // 2nd iteration, this can be removed
return 1/y;
}
int main()
{
double ans;
t1 = clock();
for(int i = 1; i < 10000000; i++){
ans = mysqrt1(i); // 二分法
}
t2 = clock();
for(int i = 1; i < 10000000; i++){
ans = sqrt(i); // 系统方法，现在系统应该是又做了优化
}
t3 = clock();
for(int i = 1; i < 10000000; i++){
ans = sqrt_by_newton(i); // 牛顿迭代法
}
t4 = clock();
for(int i = 1; i < 10000000; i++){
ans = InvSqrt(i);
}
t5 = clock();
for(int i = 1; i < 10000000; i++){
ans = Q_rsqrt(i); // 精度其实是有所缺陷的
}
t6 = clock();
for(int i = 1; i < 10000000; i++){
ans = i + ans;
}
t7 = clock();
cout << "二分法：\t" << t2 - t1 << endl;
cout << "系统：\t\t" << t3 - t2 << endl;
cout << "牛顿迭代法：\t" << t4 - t3 << endl;
cout << "网上骚操作：\t" << t5 - t4 << endl;
cout << "约翰-卡马克：\t" << t6 - t5 << endl;
cout << "同量的加法：\t" << t7 - t6 << endl;
return 0;
}
// https://blog.csdn.net/album_gyd/article/details/81416398
得到的结果为：
虽然现在系统的sqrt与加法基本一个复杂度，但博主估计应该是借鉴了约翰-卡马克的方法，并在指令集层面增加了优化才达到的。
博主建议：理解并搞定牛顿下降法，更有意义。不必强行hold住上述的骚操作。
823
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
