大数据入门
LWTalon
这个作者很懒,什么都没留下…
展开
-
编写 API 完成 HDFS shell 操作
HDFS API 完成 shell 操作HDFS作为一种分布式文件系统,有着高容错、高吞吐量、处理大数据集等优点,是hadoop核心之一。其内部的主从结构,由一个NameNode和多个DataNode组成。 主节点 NameNode 存储元数据和映射,维护命名空间。 从节点 DataNode 存储具体文件数据,接口用户对文件的具体操作,定期向NN发送自己数据块的列表(块对应具体文件的一部分)。原创 2017-08-08 14:41:46 · 924 阅读 · 0 评论 -
Hbase伪分布式配置
Hbase作为一种非关系型数据库,以其高可靠性、高性能、面向列、可伸缩的分布式存储为大规模分布式集群进行运算提供了便利。 它利用Hadoop HDFS作为其文件存储系统;运行MapReduce来处理海量数据;Zookeeper为HBase提供了稳定服务和failover机制;Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单; Sqoop则为HBase提供了方原创 2017-09-12 22:24:52 · 261 阅读 · 0 评论