博客搬迁

我的博客即将入驻“云栖社区”,诚邀技术同仁一同入驻。

2018-01-20 10:12:24

阅读数 121

评论数 0

Sentry源码之HiveServer2鉴权过程

前言 Sentry是Hadoop生态中的一员,扮演着“守门人”的角色,看守着大数据平台的数据安全的访问。它以Plugin的形式运行于组件中,通过关系型数据库(PostgreSQL、MySQL)或本地文件来存取访问策略,对数据使用者提供细粒度的访问控制。本文试图在源码层剖析Sentry的鉴权过程,...

2018-01-20 09:50:41

阅读数 708

评论数 0

AtomicXFieldUpdater,属性原子修改的外部工具类

前言 最近在看资料的时候偶然间看到了AtomicLongFieldUpdater这个工具类,觉得新鲜就查阅了相关的资料,发现居然是jdk1.5就有的工具类,不禁感叹自己对Java的理解还是太浅了,于是在此整理一下该类的资料,作为知识储备。本篇博客原文地址AtomicXFieldUpdater,属...

2018-01-20 09:49:30

阅读数 108

评论数 0

VMware虚拟机添加磁盘

前言最近在搞使用CDH安装Hadoop的时候,需要搭建一个内网的yum源(参考使用httpd搭建内网yum源),并把CDH的RPM包放上去,方便虚拟机内网使用yum进行安装。由于我最开始虚拟机内网yum源只设置了20G的磁盘,硬盘剩余空间已经不够用,因此考虑给该虚拟机添加硬盘,并将该硬盘挂载到ht...

2017-10-19 16:00:32

阅读数 1868

评论数 0

zookeeper与etcd

背景最近在看到Pachyderm的介绍时,看到作者拿YARN和Kubernetes做类比,拿Zookeeper和etcd做对比。YARN和Kubernetes的类比还相对比较好理解,毕竟他们都有资源管理和调度的职能,只不过YARN上运行的对象是JVM,而Kubernetes上运行的是容器。但是拿Z...

2017-09-29 14:31:46

阅读数 504

评论数 0

MapReduce1的工作原理

背景《Hadoop权威指南》这本书上关于MapReduce的工作机制进行了详细的介绍,job运行过程每一步的讲解比较清晰,在此进行整理和汇总。MapReduce1 简介MapReduce1 是Hadoop2.0之前的MapReduce程序调度机制,也就是YARN出现之前的经典调度模型,最顶层包含了...

2017-09-27 15:29:20

阅读数 187

评论数 0

(翻译)Pachyderm介绍-建造一个现代的Hadoop

背景最近在调研时发现了Pachyderm这个项目,感觉他们做的工作挺有意思的。Pachyderm将Docker和Hadoop联合起来,旨在使得大数据分析的过程更加便捷,众多非Java语言的工具也可以方便的使用到大数据的分析中来,并在HDFS的基础上增加了版本控制,使得数据可以进行增量分析。我在Me...

2017-09-26 20:51:05

阅读数 643

评论数 0

Ambari 功能简介

背景最近在做关于Hadoop集群的可视化部署相关的调研,发现了Ambari这个有趣的东西,在使用的过程中,整理了一部分功能列表,在此分享。Ambari简介Ambari是Hortonworks开源的Hadoop平台的管理软件,具备Hadoop组件的安装、管理、运维等基本功能,提供Web UI进行可视...

2017-09-26 20:48:44

阅读数 16889

评论数 0

heroku 上部署node.js的几个注意点

在heroku上部署node.js网站应用遇到的几个注意点

2016-12-09 23:27:31

阅读数 1761

评论数 0

VMware下仅主机模式(host-only)下的ip配置

在编程学习中,很多时候,我们希望将数据库和软件的运行进行分离,比如软件通过ip地址连接到数据库进行存储操作,但由于学习成本有限,我们通常的办法是将数据库装在虚拟机上,在主机(host)上模拟一个远程连接的操作,此时就需要主机通过ip可以访问到VMware上安装的虚拟机。VMware的网络配置有三种...

2016-09-04 16:21:11

阅读数 21856

评论数 1

Less使用手册

LESS为CSS的预编译语言,可以用于高效开发CSS文件

2016-07-26 17:35:00

阅读数 172

评论数 0

hadoop1.2.1在ubuntu上的安装

hadoop在ubuntu上安装手册

2016-07-26 17:26:21

阅读数 173

评论数 0

http header 总结

HTTP header总结

2016-07-26 16:13:59

阅读数 346

评论数 0

地图和地理空间革命:地理学大规模开放在线课堂(MOOC)

作者:Anthony C. Robinson, Joseph Kerski, Erin C. Long, Heng Luo, DavidDiBiase,Angela Lee 地理和John A.达顿电子学院,宾夕法尼亚州立大学,302步行者大厦,大学园区,PA16802,USA; ESRI的公司...

2016-07-13 11:45:40

阅读数 2572

评论数 1

HTML5中的Indexed Database

Indexed Database一种在浏览器中通过JavaScript操作的功能的数据库,为同一个源执行的程序共享空间,在同一个源拥有的空间中可以创建多个数据库,而在1个数据库中又可以创建多个对象存储。  对象存储类似于mongDB中的数据集合。   连接数据库: var indexe...

2015-05-11 16:21:13

阅读数 268

评论数 0

Web Storage

Web Storage 是一种简单的将JavaScript处理的数据永久保存的接口,它可以让我们不通过服务器进行数据的读写,可以很好的减少和服务器的通信,实现离线操作。      特点:      1、以键值对的形式存储      2、能够以普通JavaScript对象的方式进行读写   ...

2015-05-11 15:29:18

阅读数 464

评论数 0

HTML5中缓存技术

通过指定HTML文件的缓存文件列表,就可以使客户端缓存列表中的文件到本地,这一特性可以减少不必要的通信访问,甚至可以开发离线使用的web应用程序。下面是一个简单的例子。在HTML中指定缓存列表文件后缀为appcache,但其实并没有规定特定的拓展名,但为了清楚文件的用途,推荐使用.appcache...

2015-05-08 12:20:15

阅读数 538

评论数 0

javascript中闭包学习笔记

闭包,从代码的形式上是在函数声明的内部声明另一个函数,从功能上讲,闭包是一种具有状态的函数,函数内的局部变量在函数调用后仍然有效。下面是一个闭包的简单的例子:        function f(){ var cnt = 0; return function(){ ret...

2015-05-04 15:35:58

阅读数 248

评论数 0

HashSet的存储机制

Java中Set接口下的HashSet类是一个存储不可重复数据的集合,可是我们在用的时候往往发现,明明看似重复的数据,HashSet仍然存储了进去,这不免让我们感到疑惑,不是说存储不可重复的数据的吗?下面通过实验一步一步搞懂HashSet的存储机制。   1、假设有以下类 public class...

2015-04-24 10:45:09

阅读数 2997

评论数 0

VS2010中String^的几个常用类型转换

因为课程设计不得不用C++来写,而且底层函数字符串返回的都是unsigned char* 的,而VS2010中窗口控件中显示的字符串都是String^ ,所以整个过程基本上就是在各个类型之间进行转换,第一次用VS写程序,也是第一次接触.NET,刚开始真是被各个类型转换搞得头疼,下面总结一下用到的几...

2015-04-24 10:15:35

阅读数 750

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭