hadoop
那伊抹微笑
世界上最遥远的距离不是天涯也不是海角而是妳站在饿的面前饿却不可以牵妳的手
展开
-
_00017 Kafka的体系结构介绍以及Kafka入门案例(初级案例+Java API的使用)
# Kfaka的体系结构# 学习前言Kafka的整个学习过程就是自己看官网的文档,出错了找各种错,各种百度Google什么的,还好最后都解决了,不然就坑爹了,伤不起啊!英语真心也是硬伤,还是好好学英语,多记记单词吧!看官方文档还是有点压力的,不过压力就是动力,人生就该如此,这几天有点小忙,今天终于把这个整理完了,以此来帮助那些想学这些新技术的朋友们,虽然整理的时候有点累,但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307的群哦,一起学习,共同进步 ...# Kafka介绍# 介原创 2014-07-02 15:07:26 · 17266 阅读 · 5 评论 -
_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0
# ClouderaManager以及CM5.1.0半离线集群部署安装目前 CM5.1.0 ,CDH5.1.0 是最新版本# 学习前言# CM安装前的准备# 基本环境的配置# ssh免密码登录前面已经介绍,这里不再介绍了# 关闭防火墙[root@a234-198 cm5.1.0]# service iptables stop# 修改hosts文件(也是必须的)必须严格按照以下这种格式 ip aaa.bbb.ccc aaa例如:116.255.234.198a234-原创 2014-07-24 15:25:56 · 3602 阅读 · 4 评论 -
_00018 Hadoop-2.2.0 + Hbase-0.96.2 + Hive-0.13.1 分布式环境整合,Hadoop-2.X使用HA方式
# Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式环境整合,超详细哦# 学习前言一些基本的东西就不说了,前面已经说过,比如ssh免密码登录,时间同步等,如果不清楚的话请上面看Hadoop-1.x,或者Hadoop-2.X的搭建,那里面很详细。本来这个早该整理完了,但是这段时间有点小忙,都没有时间去弄,不过今天终于把这个整理完了,以此来帮助那些想学这些新技术的朋友们,虽然整理的时候有点累,但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307这个群哦,一原创 2014-07-06 18:11:17 · 8037 阅读 · 1 评论 -
_00014 hadoop-2.2.0 伪分布式环境搭建
# Hado-2-2.0伪分布式安装# 从Apache的官网下载Hadoop-2.2.0的安装包http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/# 前言一些基本需要安装的东西这里就不再赘述的,如果不懂的话看前面hadoop-1.x的安装就ok了,比如 ssh免密钥登录,时间同步等!...原创 2014-06-11 11:33:52 · 1784 阅读 · 0 评论 -
_00015 hadoop-2.X HA(High Available)高可用性验证
# hadoop-2.2.0完全分布式安装以及高可用性验证# jdk1.7.0_60一些基本的东西就不说了,前面已经说过,比如ssh免密码登录,时间同步等,如果不清楚的话请上面看hadoop-1.x的搭建,那里面很详细。# 集群结构图ip地址主机名NameNodeJournalNodeDataNode192.168.1.229rs229是是是192.168.1.227rs227是是是192.168.1.226rs226否是是 # 修改7个配置文件~原创 2014-06-13 16:23:03 · 1939 阅读 · 6 评论 -
_00002 Hadoop HDFS体系结构及shell、java操作方式
# hadoop是适合大数据的分布式存储和计算的平台# hadoop核心组成由hdfs和mapreduce组成# hdfs是主从式结构,主节点只有一个,是namenode:从节点有很多个# 分布式文件系统与HDFS (HDFS体系结构与基本概念)# Distributed File System# 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理原创 2014-03-04 23:07:39 · 1356 阅读 · 0 评论 -
_00005 Hadoop DataNode源码浅析(RPC是基础)
接着会实例化datanode和开始一个datanode守护进程(runDatanodeDaemon(dn)),然后会调用datanode的join方法,进入到run方法,这个方法将刚刚startDataNode方法中的RPC服务端开启,然后调用了一个offerService方法,里面是一个死循环,最先开始是datanode RPC远程调用namenode.sendHeartbeat方法,这里的namenode在上面已经解释过了,其实就是DataNode,这里会调用DataNode的sendHeartbeat原创 2014-03-05 22:49:10 · 1739 阅读 · 0 评论 -
_00007 Hadoop JobTracker源码浅析
# JobTracker是hadoop的mapreduce框架中最重要的一个类,这个类负责整个集群的作业控制和资源管理。# JobTracker的启动是在用户启动hadoop集群时启动的,启动JobTracker是通过调用JobTracker的main()方法启动。接下来看看源码* Start the JobTracker process. This is used only for de原创 2014-03-06 23:11:05 · 1165 阅读 · 0 评论 -
_00001 Hadoop-1.X 伪分布式安装
# hadoop前言# Hadoop试验集群的部署结构# 系统和组建的依赖关系# 生产环境的部署结构# Day1 搭建伪分布实验环境# 准备软件# vmare 9.0.2# 操作系统 CentOS 6.4# jdk-6u45-linux-i586.bin# hadoop-1.1.2.tar.gz# 开始搭建环境一 (基础环境)#原创 2014-02-28 16:33:13 · 2351 阅读 · 0 评论 -
_00003 Hadoop MapReduce体系结构
# MapReduce的介绍# MapReduce是Hadoop的分布式计算框架,由两个阶段组成,分别是map和reduce阶段,对于程序员而言,使用过程非常简单,只要覆盖map阶段中的map方法和reduce节点的reduce方法即可# map和reduce阶段的形参的键值对的形式# mapreduce的执行流程瓶颈:磁盘IO# mapreduce执行原理1.1原创 2014-03-04 23:12:10 · 1151 阅读 · 0 评论 -
_00004 Hadoop NameNode源码浅析(RPC是基础)
# NameNode源码分析(RPC是基础)# 知道了RPC原理才能更好的理解NameNode# 进入NameNode的源代码找到main方法(由于NameNode是一个RPC的服务端,所以我们进入RPC的main方法,为了证明NameNode是一个RPC的服务端)public static void main(String argv[]) throws Exception {原创 2014-03-04 23:50:06 · 2182 阅读 · 0 评论 -
_00008 Hadoop TaskTracker源码浅析
这里是一张客户端的流程图(手贱乱画的)1 负责向JobTracker定期的发送心跳消息。消息中有说明是否要申请新的任务,并接收Job下达的任务。2 如果jobTracker下达了task任务要执行,则执行该任务。# 先看看类的注释跟类结构* TaskTracker is a process that starts and tracks MR Tasks * in a原创 2014-03-06 23:33:49 · 1036 阅读 · 0 评论 -
_00006 Hadoop FileSystem源码浅析(如何与NameNode通信)
# FileSystem的create方法(主要是围绕下面这张原理图说的)public FSDataOutputStream create(Pathf)throws IOException { return create(f,true); }# 进入create(f, true);public FSDataOutputStreamcreate(P原创 2014-03-05 22:56:34 · 951 阅读 · 0 评论 -
_00010 妳那伊抹微笑_云计算之Hadoop 完美笔记2.0
一份男人看了会心跳,女人看了会脸红的Hadoop笔记,一份让你欲罢不能的Hadoop笔记,一份让你超神的Hadoop笔记,一份你从未见过如此全面的Hadoop笔记,或许你现在正在迷茫该学习什么,正想着到底自己改如何学习,该如何才能找到一份适合自己的资料?《妳那伊抹微笑_云计算之Hadoop完美笔记2.0》这就是你苦苦追寻的Hadoop笔记(资料),里面所包含的内容:Hadoop集群搭建,Hdfs,MapReduce,Hbase,Hive,Sqoop,你以为就只有这些么?不,你错了、、、只有这一点东西怎么能原创 2014-04-15 23:42:11 · 1956 阅读 · 0 评论 -
_00009 Spark
最近看到了Spa原创 2014-04-15 23:23:46 · 1163 阅读 · 0 评论 -
_00016 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)
# 学习前言想学习一下Flume,网上找了好多文章基本上都说的很简单,只有一半什么的,简直就是坑爹,饿顿时怒火就上来了,学个东西真不容易,然后自己耐心的把这些零零碎碎的东西整理整理,各种搭环境实验之后才弄好的,也不容易啊,希望可以帮到想学Flume的你 、、、# Flume介绍Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制原创 2014-06-25 11:53:45 · 7125 阅读 · 12 评论