- 博客(7)
- 收藏
- 关注
RSS订阅原创 Hadoop的磁盘写入策略引发的问题
DataNode挂载的磁盘或者DataNode节点挂载多个磁盘，如果存在一些磁盘大小不一样，数据在落盘时就可能会出现磁盘使用率不均匀的情况，容量较小的盘容易被写满，而容量大的盘还剩很多空间。磁盘写满后，影响Hadoop集群的正常工作。国庆第一天，线上集群就报出了JournalNode挂掉的异常情况，经查是由于2T的磁盘被写满，JournalNode无法再写入数据。当时采取了临时的措施，删掉HBase
2017-10-14 13:52:18
2128
原创 HBase工具之BulkLoad
使用BulkLoad是由于实际业务的需要，每个月底都需要向HBase插入大约200G的数据，接近10亿条记录。在插入过程中需要占用大量的IO资源，极大影响了现有的实时数据入库业务的效率。因此需要寻找一种替代的方案来在不影响现有业务的基础上，不占用大量集群资源，快速高效的插入大量的数据。本文主要介绍了BulkLoad的工作机制和应用，以及在使用过程中遇到的问题，最后简要分析了BulkLoad的源码步骤
2017-09-19 18:42:52
2501
原创 2017年8月读书笔记
8月匆匆走过，凉爽的秋风逐渐撵走了夏日的炎热。每月读书，在炎热而又浮躁的8月，用书来慰藉自己。这个月读了2本书，有触动心灵的《摆渡人》，有伟人的成长历程《成为乔布斯》。
2017-08-30 23:22:08
828
原创 （一）Spark本地开发环境搭建与远程debug设置
快速看完《Spark大数据处理 技术、应用与性能优化》前四章后，对Spark有了一个初步的了解，终于踏出了第一步，现在需要在Spark集群中做些测试例子，熟悉一下开发环境和开发的流程。本文主要总结了如何在本地使用Maven搭建开发环境以及如何进行远程debug。
2017-08-23 23:43:48
5165
原创 HBase的KeyValue分析
在HBase写入过程中，会检查Put中每个单元格Cell的KeyValue大小是否大于设置的maxKeyValueSize。要计算KeyValue的大小就需要了解KeyValue的的格式以及占用空间的计算方式。本文结合官方文档和源码对KeyValue的格式和空间计算进行分析和总结，便于后续继续分析HBase写入过程。
2017-08-12 14:17:54
7923
1
原创 我的前端之路
前段时间，公司来了个做前端的实习生，领导让我给她讲讲前端方面的技术学习阶段。回想自己接触前端也就1年多点，其实也没什么的经验，但作为组内唯一会前端的开发人员，还是将自己接触的前端技术整理了一下，吧唧吧唧的给妹子讲了一个多小时。先看图吧，毕生的前端功力都在图上了。
2017-08-12 13:19:17
703
原创 HBase集群启动脚本流程分析
在安装HBase的时候需要配置一些参数，这些参数在HBase启动的时候发挥着怎样的作用，如何影响的HBase的运行，出现启动错误时如何快速定位错误的位置。在解决这些问题之前，先从源码的角度分析一下HBase的启动流程，了解HBase是怎么启动的。
2017-07-30 15:56:15
1560
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人