谈谈公司一些技术--分享

谈谈我们公司用到的一些技术要点，同时也分享下我们平时用到的一些常用技术，因为也是刚入门，所以备之后慢慢消化，同时在这里抛砖引玉，希望高人指点，提供一些好的架构解决方案，或者技术要点。 公司背景：xxx前途有限公司，300号人，纯软件型的，主要从事网络安全方面的技术 那我们平时的工作就是为客户（公安）提供解决方案，为他们做系统，提供警察抓小偷（泛指犯罪分子）的服务 那信息（数据源）的主要来源是网吧，宾馆，学校等非公共场所，那每天要收集来自网吧（这里我把宾馆，网吧，学校等场所统称为网吧）的数据，那数据可想而知，是海量的，主要是收集一些QQ聊天信息，论坛聊天信息等，只要你在网吧上了网，什么信息都可以被窃取下来，不管你是视频拍照，还是怎么的，挺流氓的吧。 那海量数据的收集当然是要进行过滤的，要不然收集数据的服务器都够你撑的了，在这里使用“代理机”+“同步机”来实时的对数据进行收集，然后存放在本地数据库，然后存放在本地数据库的数据就是有用的信息了，因为代理机已经帮你过滤了，主要是做个windows服务，在后台跑着（24小时），同步机就用来同步数据到其他服务器上了 首先说说 1、数据库和后台业务这方面吧： 前面说过了，数据是海量的，所以不能用一个数据库来存储的，所以数据的存储是通过分库分表来实现的，数据库水平分割和垂直分割等，主要是看哪些数据更庞大些，有的根据“时间段”来分库分表，有的根据唯一键按区间来分库表（这些都是内部定好的规则，不同的应用可以定义不同规则来分的） 基于多服务器的实现，当然要用到现在大家都熟悉的SOA了，面向服务架构编程，目前公司主要用的WCF和，ICE，主要是解决多服务器间的通信问题，WCF超时的问题大家有没碰见过呢？有没好的处理方法呢？还有数据库超时，都是技术要点难点，WCF主要处理一些比较复杂的业务，简单的业务就放在业务层处理了，前面说过，由于数据库不何止一个，这里就用到数据路由服务了，数据路由服务主要解决不同的业务调用不同的数据而制作的 之前的主要业务都是数据库来处理的，由于设计的不合理性，接下来的做法是把主要的业务抽离出来，放到领域层（WCF）这边处理，当然一些过于复杂的业务还是由存储过程来处理的，在存储过程中，多用到临时表（基于系统temp临时文件夹存储）和表变量（基于内存存储），这些也有助于提高数据库性能，大家不懂的就多百度or谷歌下，多多拍砖，一起交流进步 接下来就是数据缓存了，数据缓存主要是用redis来做，基于内存形式的缓存，冷数据热处理，热数据冷处理的形式，但是也考虑过用memcache,用的不是很多，这里不多说了，至于性能两者相比，只有经历过才懂的，有点赶潮流吧，呵呵。日志处理和缓存当然也用到过企业库来处理，不过是简单的处理了，下期可能会用到企业仓库，数据挖掘， 之类的东东了。 数据库基本就这些了，细节就不啰嗦了。 2 、前端：由于版本众多，之前一些版本都是从另外一个版本copy修改，然后添加些额外的功能就构成了另外一个新的系统了，比较乱，有的东西后来者不知道是否有用，不敢乱来，不敢删除，就堆积着，这是弊端来的。 恩，前端主要用的是MVC2+jquery1.4来实现的,接下来要用mvc3+jquery1.6来做，采用全新的cshtml模板引擎razor,数据请求主要是通过ajax了，展示就用jqgrid了，所有的查询条件和功能按钮和结果集都做成动态可配置的，为的是后期好维护，一个软件的好坏很大程度上看这个软件后期维护量大不大（除了功能满足客户需求之外） 对，当然也会用到些Flex技术做些炫的动画了。打包部署，windows服务制作也是亮点，还有很多东西等待我们去挖掘探索，希望大家能说说自己经常用到的技术点或者某方面的解决方案出来，大家一起努力进步~~ 欢迎拍砖，天天拍拍砖，赛过活神仙。

转载于:https://www.cnblogs.com/gaole/archive/2011/06/08/gaole0725.html