- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 HBase基础知识笔记（含安装配置与开发环境避坑流程）
笔记涉及代码：https://github.com/hackeryang/Hadoop-Exercises 1.HBase是一个在HDFS上开发的面向列的分布式数据库，用于实时地随机访问超大规模数据集。原本的关系型数据库并非为大规模可伸缩的分布式处理而设计，虽然也有复制(replication)和分区(partitioning)的改善方案，让数据库能够从单个节点扩展出去，但难以安装与维护，而且会...
2018-08-28 22:34:59
1528
原创 Hadoop集群管理基础知识笔记
1.Hadoop集群尽量采用ECC内存，否则可能会出现校验和错误，ECC内存有纠错功能。在磁盘方面，尽管namenode建议采用RAID以保护元数据，但是将RAID用于datanode不会给HDFS带来益处，速度依然比HDFS的JBOD(Just a Bunch Of Disks)配置慢。RAID读写速度受制于最慢的盘片，JBOD的磁盘操作都是独立的。而且JBOD配置的HDFS某一磁盘故障可以直接...
2018-08-25 21:58:19
2078
原创 MapReduce学习笔记
笔记代码GitHub：https://github.com/hackeryang/Hadoop-Exercises 一、MapReduce应用 1.在使用IDE开发MapReduce应用时，在maven工程的pom.xml文件中需要加入对hadoop-client的依赖，它包含了和HDFS及MapReduce交互所需要的所有Hadoop client-side类，如下所示： <dep...
2018-08-20 22:29:28
1457
原创 Hadoop基础知识笔记
学习笔记相关代码：https://github.com/hackeryang/Hadoop-Exercises 一、基础 1. Hadoop分布式文件系统( HDFS) 分布在集群内多台机器上。使用适度的复制，集群可以并行读取数据，进而提供很高的吞吐量。这样一组通用机器比一台高端服务器更加便宜。代码向数据迁移的理念被应用在Hadoop集群自身。这种理念符合Hadoop面向数据密集型处理的设计目...
2018-08-08 09:18:05
6826
WiFiredX安装包，适用于Mac
2022-10-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人