冰封骑士的专栏

1、分布式文件系统 2、HDFS特点 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。 通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像...

1、解决问题 海量数据的存储（HDFS） 海量数据的分析（MapReduce） 资源管理调度（YARN）2、hadoop核心 HDFS: Hadoop Distributed File System 分布式文件系统 YARN: Yet Another Resource Negotiator3、HDFS的架构 主从结构 ...

1、zk 集群搭建 zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下： tickTime：CS通信心跳时间，Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime 以毫秒为单位，tic...

Sqoop的介绍 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库 （例如 ： MySQL ,Oracle ,Postgres等） 中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop的安装配置 解压 tar -zxvf sqoop-1.4.4.b...