2014年8月份在北京一家公司入职，岗位的技术方向是大数据方向，被公司外派到国家气象局工作，参与公司与国家气象局合作的项目，其中很多项目的业务设计到气象业务数据处理的工作。简单的说，就是卫星收集采集到的气象收据传给地面雷达，地面雷达接收到气象数据，要对数据进行分析和处理，然后将分析处理过的数据进行采集入库操作，然后去开发出软件和系统去展示和使用这些数据,这些软件和系统提供给国家气象局和全国各省市级级气象局的工作人员使用，各种各样的业务很多、针对性有所不同，但是现在面临的一个共同的问题是，每天采集到气象数据的数据量很大，对气象数据的分析处理，还有查询、写入和读取的时间长、效率低，传统的数据库。像MySQL、Oracle很难解决这方面的问题，目前所有的业务系统所要解决的问题就是在气象业务数据方面下功夫，提高数据的分析处理、写入、读取、查询的效率、节省时间，所以我感觉气象局项目业务的核心在数据层，因此花了很长一段时间去了解气象业务专业知识还有整个气象系统所采用的数据格式的内容。
现在算是基本对这方面的知识有所掌握，下面一步就是选取数据的有效的解决方案，Mongodb+ElasticSearch？GeoIndex？Hadoop？还有HDF5+FastQuery？听到听人说过一句非常有道理的话：没有一种软件开发技术能完美的解决所面临的问题，只能说相对高效、或者相对完美，但是要做到相对，可能需要多种技术结合来共同解决这个问题。因此对气象业务数据的处理、目前还在探索和调研中，在此期间做了一些测试工作,但是还是没有找到最有效的解决方案，或者说还是没有达到预期的需求，还要做很多的数据测试、多种技术对比的工作，以便寻求到一种有效的解决数据的方案,这也是下一步工作的重点。
感觉要学习的东西还有很多，气象业务知识、各种数据格式、以前没怎么接触过的数据结构和算法还有除了Hadoop外更多的大数据解决处理方案，这是一份有挑战性的工作、感觉压力很大，但是也增加了在工作中不断学习的动力，所以在此期间把学习到知识归纳整理一下，发表成博客，以便供以后工作参考和复习，还可以与大家分享、方便探讨交流，如果大家有气象数据处理的经验或者解决大数据的方案，欢迎提出一些好的建议和意见。
扫一扫
4533
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
