程序小白的探索空间

我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。

前言Sentry是Hadoop生态中的一员，扮演着“守门人”的角色，看守着大数据平台的数据安全的访问。它以Plugin的形式运行于组件中，通过关系型数据库（PostgreSQL、MySQL）或本地文件来存取访问策略，对数据使用者提供细粒度的访问控制。本文试图在源码层剖析Sentry的鉴权过程，以帮助更好的理解权限的鉴定过程。博客地址Sentry源码之HiveServer2鉴权过程Sen

前言最近在看资料的时候偶然间看到了AtomicLongFieldUpdater这个工具类，觉得新鲜就查阅了相关的资料，发现居然是jdk1.5就有的工具类，不禁感叹自己对Java的理解还是太浅了，于是在此整理一下该类的资料，作为知识储备。本篇博客原文地址AtomicXFieldUpdater，属性原子修改的外部工具类AtomicXFieldUpdater根据名字，我们可以知道Atom

前言最近在搞使用CDH安装Hadoop的时候，需要搭建一个内网的yum源(参考使用httpd搭建内网yum源)，并把CDH的RPM包放上去，方便虚拟机内网使用yum进行安装。由于我最开始虚拟机内网yum源只设置了20G的磁盘，硬盘剩余空间已经不够用，因此考虑给该虚拟机添加硬盘，并将该硬盘挂载到httpd的子目录上，在该磁盘上单独放CDH的包。

背景最近在看到Pachyderm的介绍时，看到作者拿YARN和Kubernetes做类比，拿Zookeeper和etcd做对比。YARN和Kubernetes的类比还相对比较好理解，毕竟他们都有资源管理和调度的职能，只不过YARN上运行的对象是JVM，而Kubernetes上运行的是容器。但是拿Zookeeper和etcd来类比我就有些不懂了，在我之前的概念里zookeeper并不是一个存储组件啊，

背景《Hadoop权威指南》这本书上关于MapReduce的工作机制进行了详细的介绍，job运行过程每一步的讲解比较清晰，在此进行整理和汇总。MapReduce1 简介MapReduce1 是Hadoop2.0之前的MapReduce程序调度机制，也就是YARN出现之前的经典调度模型，最顶层包含了4个独立的实体。客户端， 提交MapReduce程序jobtracker，协调作业的运行。

背景最近在调研时发现了Pachyderm这个项目，感觉他们做的工作挺有意思的。Pachyderm将Docker和Hadoop联合起来，旨在使得大数据分析的过程更加便捷，众多非Java语言的工具也可以方便的使用到大数据的分析中来，并在HDFS的基础上增加了版本控制，使得数据可以进行增量分析。我在Medium上看到一篇相关介绍，讲的比较详细，原文是英文的，因此翻译下来分享一下，也方便自己之后的查阅。 原

背景最近在做关于Hadoop集群的可视化部署相关的调研，发现了Ambari这个有趣的东西，在使用的过程中，整理了一部分功能列表，在此分享。Ambari简介Ambari是Hortonworks开源的Hadoop平台的管理软件，具备Hadoop组件的安装、管理、运维等基本功能，提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。功能列表操作级别：

在heroku上部署node.js网站应用遇到的几个注意点

在编程学习中，很多时候，我们希望将数据库和软件的运行进行分离，比如软件通过ip地址连接到数据库进行存储操作，但由于学习成本有限，我们通常的办法是将数据库装在虚拟机上，在主机（host）上模拟一个远程连接的操作，此时就需要主机通过ip可以访问到VMware上安装的虚拟机。VMware的网络配置有三种：桥接、仅主机模式、NAT模式。桥接模式在连接有线的时候，可以直接获取ip，主机通过该ip可以访问虚拟机

LESS为CSS的预编译语言，可以用于高效开发CSS文件

hadoop在ubuntu上安装手册

HTTP header总结

作者：Anthony C. Robinson, Joseph Kerski, Erin C. Long, Heng Luo, DavidDiBiase，Angela Lee地理和John A.达顿电子学院，宾夕法尼亚州立大学，302步行者大厦，大学园区，PA16802，USA; ESRI的公司，380纽约街，雷德兰兹，CA92373，USA（首稿：2014年5月13日，最终稿：2014

Indexed Database一种在浏览器中通过JavaScript操作的功能的数据库，为同一个源执行的程序共享空间，在同一个源拥有的空间中可以创建多个数据库，而在1个数据库中又可以创建多个对象存储。  对象存储类似于mongDB中的数据集合。  连接数据库：var indexedDB = window.indexedDB ||

Web Storage 是一种简单的将JavaScript处理的数据永久保存的接口，它可以让我们不通过服务器进行数据的读写，可以很好的减少和服务器的通信，实现离线操作。     特点：     1、以键值对的形式存储     2、能够以普通JavaScript对象的方式进行读写    Web Storage提供了同源服务的共享内存，不同服务，只要源相同，就可以共享存储，大部分浏览器

通过指定HTML文件的缓存文件列表，就可以使客户端缓存列表中的文件到本地，这一特性可以减少不必要的通信访问，甚至可以开发离线使用的web应用程序。下面是一个简单的例子。在HTML中指定缓存列表文件后缀为appcache，但其实并没有规定特定的拓展名，但为了清楚文件的用途，推荐使用.appcachecache.html test cache Cac

闭包，从代码的形式上是在函数声明的内部声明另一个函数，从功能上讲，闭包是一种具有状态的函数，函数内的局部变量在函数调用后仍然有效。下面是一个闭包的简单的例子：       function f(){ var cnt = 0; return function(){ return ++cnt;}}var fn=f(); //将函数的返回值赋给变量fn();

Java中Set接口下的HashSet类是一个存储不可重复数据的集合，可是我们在用的时候往往发现，明明看似重复的数据，HashSet仍然存储了进去，这不免让我们感到疑惑，不是说存储不可重复的数据的吗？下面通过实验一步一步搞懂HashSet的存储机制。  1、假设有以下类public class Student { String stuName; public Student()

因为课程设计不得不用C++来写，而且底层函数字符串返回的都是unsigned char* 的，而VS2010中窗口控件中显示的字符串都是String^ ，所以整个过程基本上就是在各个类型之间进行转换，第一次用VS写程序，也是第一次接触.NET，刚开始真是被各个类型转换搞得头疼，下面总结一下用到的几个关于String^ 转换，希望以后用到的时候可以方便，也希望可以方便他人。     1、