- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 HBase基础知识笔记(含安装配置与开发环境避坑流程)
笔记涉及代码:https://github.com/hackeryang/Hadoop-Exercises 1.HBase是一个在HDFS上开发的面向列的分布式数据库,用于实时地随机访问超大规模数据集。原本的关系型数据库并非为大规模可伸缩的分布式处理而设计,虽然也有复制(replication)和分区(partitioning)的改善方案,让数据库能够从单个节点扩展出去,但难以安装与维护,而且会...
2018-08-28 22:34:59 1528
原创 Hadoop集群管理基础知识笔记
1.Hadoop集群尽量采用ECC内存,否则可能会出现校验和错误,ECC内存有纠错功能。在磁盘方面,尽管namenode建议采用RAID以保护元数据,但是将RAID用于datanode不会给HDFS带来益处,速度依然比HDFS的JBOD(Just a Bunch Of Disks)配置慢。RAID读写速度受制于最慢的盘片,JBOD的磁盘操作都是独立的。而且JBOD配置的HDFS某一磁盘故障可以直接...
2018-08-25 21:58:19 2078
原创 MapReduce学习笔记
笔记代码GitHub:https://github.com/hackeryang/Hadoop-Exercises 一、MapReduce应用 1.在使用IDE开发MapReduce应用时,在maven工程的pom.xml文件中需要加入对hadoop-client的依赖,它包含了和HDFS及MapReduce交互所需要的所有Hadoop client-side类,如下所示: <dep...
2018-08-20 22:29:28 1457
原创 Hadoop基础知识笔记
学习笔记相关代码:https://github.com/hackeryang/Hadoop-Exercises 一、基础 1. Hadoop分布式文件系统( HDFS) 分布在集群内多台机器上。使用适度的复制,集群可以并行读取数据,进而提供很高的吞吐量。这样一组通用机器比一台高端服务器更加便宜。代码向数据迁移的理念被应用在Hadoop集群自身。这种理念符合Hadoop面向数据密集型处理的设计目...
2018-08-08 09:18:05 6826
WiFiredX安装包,适用于Mac
2022-10-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人