m1213642578的专栏

hadoop集群sqoop2安装指南

本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。这份文档不包含更先进话题，比如安全或者高可用。

这篇文档描述了如何为Hadoop在安全模式下配置认证。当Hadoop被配置运行在安全模式下时，每个Hadoop服务和每个用户都必须被Kerberos认证。正向方向的主机去查找所有服务的主机，必须被正确地配置来相互认证。

大多数情况下，我们不会光使用Kerberos；一旦用户被Kerberos认证，我们需要指出用户可以做什么（认证哪些服务）。这将会是一些程序的工作比如：LDAP。在两个服务器之间复制一个kerberos实体数据库，或者将一个附加的用户数据库添加到您的网络中可能会比较麻烦。

Kerberos是一种基于可信性的第三方的网络认证系统。其他两方为用户和用户希望对其进行身份验证的服务。并不是所有的服务和应用程序可以使用Kerberos，但是对于那些可以使用的，它使得网络环境更接近于一步到位，就是所谓的Single Sign On (SSO)。这一节介绍Kerberos服务器的安装和配置，和一些客户端配置的实例。

本节主要讲解大数据技术中的数据采集技术。数据采集，顾名思义，就是从各种系统每天产生并存放在各类数据库，文件系统的数据，或者服务器每天产生各种日志文件，又或者是各种图像、音频、视频文件等，把相应的数据采集、汇总、入库。

轻量目录访问协议（LDAP）,是一个运行在TCP/IP协议的查询和修改基于X.500目录服务的协议。当前LDAP的版本为LDAPv3，定义在RFC4510中，在Ubuntu中的实现是OpenLDAP。

前面的章节已经讲过，搞大数据的第一步就是基础架构的支持。它解决了如何组织、协调、分配计算资源、存储资源、网络资源以及其他硬件资源的问题。本节我们将简单讲述其中所包含的内容。

Kerberos介绍Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”。系统设计上采用客户端/服务器结构与DES加密技术，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。支持SSO。

Hue安装和配置

大数据是什么经常听别人说“我要去学习大数据”，乍一听大数据应该是某个技术。百度解释：无法在规定时间内用给现有的常规软件工具对其内容进行抓取、管理和处理的数据集合。通俗讲，大数据就是大到难以处理的数据集合，是社会技术发展过程中碰到的棘手问题。于是，我们为了解决这个问题，衍生出各种技术，而这些技术才是我们学习的内容。所以说，“我要去学习大数据”完整的说法应该是“我要去学习处理大数据问题的技术”。