hadoop分布式学习笔记
alextongtong
遇见不一样的自己~~
展开
-
HDFS详细介绍
随笔- 234 文章- 0 评论- 69 HDFS详解【一】HDFS简介HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的转载 2014-03-24 11:14:03 · 620 阅读 · 0 评论 -
hadoop脚本解析
“兵马未动,粮草先行”,要想深入的了解hadoop,我觉得启动或停止hadoop的脚本是必须要先了解的。说到底,hadoop就是一个分布式存储和计算框架,但是这个分布式环境是如何启动,管理的呢,我就带着大家先从脚本入手吧。说实话,hadoop的启动脚本写的真好,里面考虑的地方非常周全(比如说路径中有空格,软连接等)。1、hadoop脚本简单介绍 hadoop的脚本分转载 2014-10-17 13:32:43 · 754 阅读 · 0 评论 -
海量数据的处理方法
作者:July出处:结构之法算法之道blog前言 一般而言,标题含有“秒杀”,“99%”,“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌,但进一步来讲,如果读者读罢此文,却无任何收获,那么,我也甘愿背负这样的罪名,:-),同时,此文可以看做是对这篇文章:十道海量数据处理面试题与十个方法大总结的一般抽象性总结。 毕竟受文章和理论之限,本文将摒弃绝转载 2014-09-17 23:23:33 · 552 阅读 · 0 评论 -
flume的原理及介绍 线上数据-》flume-》kafka->hdfs/hadoop
1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一. 2 .概述转载 2017-06-27 11:18:45 · 586 阅读 · 0 评论 -
kafka常用命令
1.查看topic的详细信息./kafka-topics.sh -zookeeper127.0.0.1:2181-describe -topic testKJ12、为topic增加副本./kafka-reassign-partitions.sh -zookeeper127.0.0.1:2181-reassignment-json-file json/partitions-to-move转载 2017-07-27 19:02:32 · 628 阅读 · 0 评论