11月份总结

感觉十一月份过的非常快，当再一次静下心坐在屋里喝茶看书的时候，发现今天已经是这月的最后的一天了。这一月相对来说还是很充实的，有很多的感悟，也有很多值得注意和改进的地方。

总结一月的学习工作，主要侧重于几点：1.工作中心主要在SaaS技术方案的设计上，完成文件的编写；2.项目申请、谈判响应文件、合同整个项目整体的流程怎么办理；3.Hadoop多租户方面进一步的调研；4.看书的一些感悟。

1.SaaS方面

之前基本上对于SaaS是一无所知的，由于项目需求，这段时间的主要工作侧重点集中在SaaS这一块。因此对SaaS做了相当多的调研。下面对在调研、学习包括最后的写文档方面做一些总结。

1.1调研

在接触SaaS初期，有点盲目找不到头脑，由于目的是为了写出一个SaaS平台的方案，因此匆匆翻了很多的书，大概由以下基本：《SaaS实践指南:基于800APP案例教程》、《站在云端的SaaS》、《互联网时代的软件革命SaaS架构设计》以及微软官方的《Developing Multi-tenant Applications For The Cloud on Microsoft Windows Azure》几本书，看完这几本书后的第一感觉就是自己直接懵了，很难结合自己现在的项目背景把书中的内容应用起来，而且这时候自己还不知道一个企业中需要用的技术方案到底要写到什么样的程度。因此就把书中看的很多内容给扔了，基本看完就忘了，直到前天反思自己的一些问题，才发觉看这些书的最好方法就是看着做笔记，因此做了一下的一些改正，对于技术方面的书，看的过程中把自己所需的，至少看过一本书后，自己会有一个记录，知道书中有哪些有用的内容，自己看过了哪些有用的内容。

笔记速记，尽量写的快，自己还能看懂，能定位就好。

1.2资料

这段时间最直接的感悟就是人一定要多经磨难，不然会有自大的情绪滋生。我就犯了一个这样的错误，在有很长的一段时间内，我都以为自己是那种什么都能做的人，即使之前不接触，稍微给我一点时间，我也能学会。这种情况在写文档前表现的淋漓尽致，当开始写的时候我就发现自己错的彻彻底底。

一份响应文件里面有很多的话是废话，但是这些废话也得有相应的水来写，而且要写的很长的不像废话，比如说背景、目的和意义等，对于这些，我不清楚应该如何来写最好，只写自己的一些经验：首先是一定要切中两点题，一个是技术一个是业务，要把业务结合进技术里面来写，范围可以大；第二是要能定位到相应的中文论文中，在写背景这类东西的时候，可以从两点找，还是技术和业务，从论文里面找这两个。

除了废话，就是实实在在的干货。在响应文件里面，是要有一定的干货的，但是这类干货需要写的炫而华丽，类似于ppt，这里面需要画很多效果非常好的图，之前画的图被狠狠地批了很多遍，后来通宵几次就可以明白如何画出来色彩鲜艳，看起来比较漂亮和好看的画了。

在设计具体方案的时候遇到了一个比较麻烦的问题，就是框架和技术。提出方案，主要需要侧重两点，一个是框架，一个是具体技术。很不巧的是，这两点都没什么太多的经验。如果写框架，首先应该具备的是对于框架里面所需的技能应该在一定程度上有所掌握，因此就需要去学这些技能了，这时候就遇到一个麻烦了，就是你不知道这个框架里面需要什么技能，这点着实折腾了很长的时间。事后反思，虽说自己需要精通，但是知识点还需要广，就是对现有的各种的都应该有所知晓，这样的话，在设计具体的方案的时候才能思维宽阔。因此在以后的一段时间内，我会把了解各种介绍当作一种业余的爱好，没事就看看各种技术，都了解一点，慢慢向一个类似于架构师的道路上前进。

2.项目流程

之前对于项目的流程没什么了解，这次参与到一个项目的前期流程后还是有很多感悟的。

首先是，一定要虚心地区问，不能不好意思，因为有很多需要盖章的地方，特别有很多章是很难的盖的，这时候一定要仔细地问清楚到底有哪些文件需要盖章，需要盖什么章，一定要问清，因为有些章可能就不是一天能盖完的。也有很多文件是盖同一个章，尽量不要跑很多次盖同一个章，很浪费时间。

其次是不同的文件的重要性，在一个项目中会有好几种文件要写的。比如说响应文件，这个是在谈判的时候需要写的文件，按照我的理解，这里面需要的写的东西就要写的相对来说大一点，就是要把你为对方设计的方案写的华丽一点，图画的漂亮一点，一定要看起来高大上。然后就是合同，在写合同的时候一定要细细斟酌，很多时候一个字或者一个词就会有很大的影响，合同中的每一点在以后验收的时候都是要检查的，因此在写的时候一定要认真，而且一定不能往大的写，能小就小。

3.hadoop多租户

hadoop多租户一直是我们一个的需求，而我一直把它做好。先说需求吧，我们的需求是现在有个几十台服务器的hadoop集群，这一个集群是为了提供给不同的用户的，也就是租户。我们的目标是想实现类似于SaaS多租户那种可定制的功能，来一个用户，我能给他分配资源、权限，比如说我给他指定几台机器作为他的工作资源，我能动态修改他的权限资源的等。

这一点我一直在调研，最后发现还是很难实现的，看了好几本书，也看了很多的博客包括官网。最后得出两点结论，可能不准确，但是目前只能调研到这个程度：1.HOD方式，这是hadoop1的方式，一个物理hadoop集群，可以为用户分配虚拟的hadoop集群；2.资源调度，yarn提供了资源调度策略，每个用户访问的整个hdfs系统，yarn提供的策略是，可限制这些用户访问范围，比如说哪些能够访问hdfs，哪些能够提交作业，但是没有找到比较强的资源隔离和分配机制，这点很遗憾。虽说没有解决多租户问题，到也收集了一些资料。下面是一些租户，权限管理，资源调度有关的文章，董神的yarn很值得推荐。

Hod：董西城《hadoop技术内幕》241页
多租户、安全： 
    安全机制介绍：http://dongxicheng.org/mapreduce/hadoop-security/  
    和容器相关：http://www.alwayschange.com/2013/12/23/yarn-%E5%A4%9A%E7%94%A8%E6%88%B7%E6%9D%83%E9%99%90%E9%85%8D%E7%BD%AE/
    安全伪装/模拟机制：http://dongxicheng.org/mapreduce-nextgen/hadoop-secure-impersonation/
    资源隔离：http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-resource-isolation/
    两种资源调度策略：
    http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-capacity-scheduler-fair-scheduler/
    Kerberos安全机制：http://dongxicheng.org/mapreduce/hadoop-kerberos-introduction/
    权限管理：使用Fair Scheduler 资源调度：http://dongxicheng.org/mapreduce/hadoop-permission-management/

Hue：是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。
Ambari：是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。
都没说多租户，只是监控、管理集群。
目前没搞清两者区别，莫非是ambari只管理hadoop集群，但是hue还能管理子项目？
貌似hue更倾向于数据操作，融合多个组建，ambari监控的性质更强。

最后官网，这两个项目也没有多用户管理的功能，二期hue安装很麻烦。

4.看书

最近一段时间的求知欲望特别的强，经常感觉自己一无所知。因此下定决心要多看书，自己的一个毛病就是书很多，但是很多都没有看完，或者看完就忘了，等于没看。初步决定以后看完一本再买第二本，先粗看，随手写上自己的想法，然后整本整理，汇集一下读书笔记，至少能知道自己看过这本书，而且书里面有什么东西是对自己有用的，以后能够迅速地位到这些内容。

《hadoop权威指南》基本已看完，现在进行《计算机文化》，下一本《浪潮之巅》。