weixin_38168947的博客jAbP)aWAuNkA

大数据的核心问题无非就是存储和计算这两个。Hadoop中的HDFS解决了数据存储的问题，而HBase就是在HDFS上构建，因此Hbase既能解决大数据存储的问题，又能解决数据实时查询的问题。

在HDFS中，为了满足大量读和写的需求，将读写分开，fsimage放在内存里，方便查询，editlog则负责记录已经对元数据产生更改的事务。fsimage和editlong是两份的元数据，当HDFS重启的时候，namenonde会将fsimage和editlog融合在一起，形成一个新的fsimage，此时的namenode换断掉所有的服务，进入一个休眠期，也就是常说的安全模式(safemode)。...

Permission denied: user=anonymous, access=WRITE, inode="/user/anonymous":hdfs:supergroup:drwxr-xr-x

什么是Sqoop？ Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 摘自百度百科 从MySQL到HDFS [root@nn ~]# sqoop i...

本文是在CentOS7.5下进行CDH6集群的完全离线部署。CDH5集群与CDH6集群的部署区别比较大。 说明：本文内容所有操作都是在root用户下进行的。 文件下载 首先一些安装CDH6集群的必须文件要先在外网环境先下载好。 Cloudera Manager 6.0.1 CM6 RPM：https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPM...