CPU 和 GPU, 还有生活 收藏 ![tuijian.gif](http://blog.csdn.net/images/tuijian.gif)
许久没有写技术方面的日志了。这段时间本想出去好好的散心,过年在老家转了一圈,去了一趟大足。本想去大足石刻看看,到佛湾走走,结果行程都在车上浪费了,到大足的时候,已经是下午4点多。本想回家的,第二天朋友还得去成都找他朋友,结果没车了,只能就地找了一家酒店。一家邮政酒店,说是酒店,或许就是以前的办公大楼改造的,一台电视,两张床,其他的没了……晚上在大足转了一圈,或许是我们太不熟悉,没找到什么好玩的,也就回到酒店,聊聊天,睡了。晚上很冷,半夜冻醒了,起床加了一床毛毯。旁边床的兄弟第二天早上起来的时候,直大喷嚏……一大早,回到家……走亲戚,串门……没有能见到几个同学,见到的,有的已经带着孩子打酱油了。家里面聚餐的时候,都追问个人问题,哎!本想回家可以清净一些,还是逃不过吧。或许这就是生活……琐碎而繁杂。
几个月没什么心情写论文,没心情看技术方面的文章,看了不少其他的书,道家,儒家的书,看了一些,不过感觉自己还没入门,只是先看看吧,心烦意乱的时候,可以让自己安静下来。或许在写代码的时候,怎么规划内存,怎么布局,这些逻辑思维也可以从看的非技术书里面来吧。修心比修脑更重要吧。心通了,心静了,脑子或许才能清醒吧。熬了几个星期的通宵,5点多总算把论文赶完了。一篇大数处理的文章,GPU单线程比CPU快乐几十倍,当然,这个需要大量数据的时候,要是数据小了,GPU一点不占优势。
有的时候写代码或许就跟生活差不多,开始设计算法,解决问题的时候,总是觉得千丝万缕,琐碎而繁杂,不知道从哪里入手,不知道从哪个地方找到适合自己生活的方式。知道GPU上面优化的东西就这么多,知道遇到的问题有一些什么特点,但是就是不知道从那一部分直接入手最容易,最能直接到核心问题。找到一个逻辑,很难。生活中找到真正适合自己的,也很难。想不明白的时候,或许选择逃避,或许选择尝试,不停地尝试吧。一个kernel函数从最开始的验证版本,到最后的相对自己认为的最优的版本,可能中间过程经历了10次的修改。过一段时间还会发现有新的想法,新的思路可以尝试。当我找不到规律的时候,就一条一条路的走一下,或许我知道没有别人聪明,也不是像别人那么运气好,也没有偷懒的资本。那就先用广度优先,找出所有的解决办法吧,或许有一天找到一些规律的时候,再来简化自己的步骤,再来尝试退火算法的方式找最优解,或许采用A*算法的思路来找最优解。或许吧,人生的经历或许也差不多吧,不清楚地时候,不明白的时候,现在按照已有的方式走下来吧。要是能有高人指点一下,那就最好了,要是么有,那还是都尝试一下吧。当然,要是想糊糊涂涂的过一辈子,那也就糊糊涂涂的解决就行了。记得理工大学南门有一个酒吧,叫做七又二分之一,当时不知道为什么叫这个名字,就问朋友。他说,在佛语里面有偷得浮生半日闲。或许7天纷繁复杂的生活之后,给自己半天的时间,思考和总结吧。或许算法优化的过程也不过如此吧。尝试了很多种途径之后,就是总结和归纳,找到一些相似的地方,找到一些不会发现的情况,找到一些通往最终目标的捷径。生活需要积累,学习,也需要积累吧。
闲下来,道家,儒家的书也看不进去的时候,就打打星际2.星际我最爱玩虫族,不为别的,就为可以疯狂的造小狗,一窝蜂的小狗过去,一轮一轮的24只小狗过去,我看现在还没那个AI能扛得住的。或许这个也像现在的GPU跟CPU吧。每一个小狗就是GPU里面的一个计算核心,每一个人族或者神族的尖锐部队,就像CPU里面的核心,确实人族的坦克很厉害,小狗可以挂一片,但是一群几十只小狗围着的时候,坦克挂得相当的快。GPU就占着人多吧。但是要是小狗串行的过去靠近坦克,小狗只有来一个挂一个了。所以,要并行的效果,才能搞定坦克,,o(╯□╰)o,囧……一窝蜂的围攻才行,所以在考虑GPU算法的时候,或者并行算法的时候,一定要考虑,你的算法是并行的,最大并行化的,什么叫最大并行化。大家都做差不多的事情,做事情的时候,干扰很小,或者各自之间都没干扰,然后大家都可以同时围绕着坦克,同时攻击坦克四周,就好比GPU里面取内存的时候,16线程,half-warp一起访问内存,就可以合并访问一样,一群小狗都同时能靠近坦克,同时攻击的时候,打起来超帅。。。一会就磕掉一个。。
但是要是人族的坦克也成对了,提升了坦克的装甲,提升了坦克的攻击能力,每个坦克+上都是3防,3攻,只要门口附近摆上4门坦克,那一群随即的小狗跑过去,还不行的,也只会挂在门口。这就好比要是在CPU里面优化的时候,用SSE优化,提高攻击力+3。再打开多线程,就好比在门口加上几门坦克。这些功能都是需要慢慢调试出来的。就像我们写CPU优化的代码的时候,SSE的代码接近汇编,调试起来很麻烦,相对而言,GPU造小狗就来得快,只要大家排好队,路线设定好了,几个人分拨的围绕着指定的坦克,打下来,那就是数量问题了。但是CPU要是加防,加攻,只是打下来就比较麻烦一点。
现在的很多GPU程序一上来就说提升了几百倍的,这个得看看是否打开了CPU的SSE或者多线程了没。当然打开CPU的SSE和多线程,也需要花很多功夫的,这些功夫,比调试优化GPU的代码更难。时间可能更长一些。但是打开了,可能GPU只能提升到10倍到几十倍的能力。
GPU现在比CPU有的几个优势是,
1.GPU有众多的核心,完全可以使用胖节点式的并行算法,CPU里面的多线程,更多的或许谈不上真正意义上的“大量”并行这个词来形容,CPU的大型的并行,都是在集群层面的,而不是在单机上的,集群层面接触到的朋友,也就少了,集群优化本身就比骄傲麻烦;
2.CUDA这一类的GPU并行编程语言,并行层面在线程级别,编程起来,比较方便,相对而言,要打开CPU的SSE,那就相当于汇编级别,比较麻烦;
3.GPU能提升的性能是在10倍左右,或者以上到50-倍左右这个量级,不只是提升一两倍,这样就给CPU很大的压力;
当然要是CPU能改变其中的某一两项,或许GPU也就难了。
例如intel的TBB多线程库,比openmp灵活好用,这一类的线程库出来了再加上intel将来出来的多核心,势必给GPU造成很大的压力。还有他们很接近TBB的Ct的开发语言,从这个层面上,开发语言,或者环境,GPU可能赶不上的。软件强也没有,现在硬件没出来。
当然还有AMD的芯片,APU一类的芯片出来,也会造成一些混乱的局面。
不过都说到这里,我们可以看看这三家比较好玩的现象:
1.Intel的软件我们有目共睹的,TBB,IPP,MKL这样的库都是顶呱呱的,当然还有intel的CPU,还有他的编译器,优化工具都是很牛掰的,但是他的GPU出不来,也就是有软件没硬件,麻烦;
2.AMD,(ATI)他的硬件其实也挺牛的,Fire系列的显卡出来老早了,但是他的软件一直跟不上,一直超级麻烦,困难户;也麻烦;
3.反过来看Nvidia,他的Fermi现在都还没出来,靠着GT200的架构还在撑着,但是他的驱动也做得挺到位,phiyX这样的软件也挺到位;在市场上仿佛看到Nvidia在GPU方面的声音比上面的两家都好。但是可以看看,GPU硬件,Fermi才能跟ATI的58xx系列比的,也就是GF100才能跟ATI700,或者ATI800系列比的。但是现在市面上看不到。还是GT200的身影。软件方面,Nv肯定没法跟intel比。
从这几个方面我们发现一个现象,不管是做硬件还是做软件,单独某一项强都不行的,只有total solution才是王道。
做硬件的厂商都需要做软件的,做软件的厂商都想紧跟最新的硬件,当然也是在最新的硬件真正有实力的时候。这些,或许就是跟技术本身无关了,或许这也是生活吧。
七天的纷繁忙碌的生活,给自己半天的喘息。都说自己累,到底问问自己为什么累啦?付出就一定要有回报吗?或许是在用爱的名义在索取吧。经历一次感情,或许会清醒很多,明白很多,不管是经历什么,都要给自己去思考,去想想,内心的强大,才是真正的强大,内心的成长才是真正的成长吧。甚至有时候想想,是否找连续的一段时间,去寺庙精修一段时间。反过来又问问自己,人生何处不是思考和静思啦?需要的只是一个过程,而不是立刻的响应。或许是因为自己性格更偏向于温和吧。不习惯与激烈的针锋相对,或许那么鲜明。中庸和谐之道,哈哈……观点没那么鲜明,只是为了思考,为了一段感情过后的沉淀,第一次花了三年时间,这次,不知道需要多久。不过能坦然了……或许就真正释怀了。淡然了吗?我已经在思考这个问题了。从每天星际打累了以后,看书以后,读文章以后,赶论文以后,发现,只有睡觉是最好的时候,其他的任何事情,任何情感,其实都无关痛痒。让自己累一点,让自己忙一点。有空的时候想想更多美好的事情,或许找个时间再出去走走吧。。。。。复活节,或许可以出去走走。。。。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23028645/viewspace-629748/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/23028645/viewspace-629748/