hadoop
文章平均质量分 77
iblks
积跬步至千里、积小流成江海
展开
-
Hadoop+zookeeper集群部署
Hadoop+zookeeper集群部署 (本文是工作过程中,一个同事整理编写的,非常全面详细,在此对其表示由衷的感谢,同时也分享给大家,希望对有此需求的朋友能给予帮助) 一、集群服务器情况 IP 主机名 进程 192.168.0.202 hadoop-master NameNode/ DataNode/ Journa转载 2016-11-09 23:26:59 · 772 阅读 · 0 评论 -
hadoop 2.7.3 源码分析(二):超简单源码修改测试
前言在上一节中我们搭建起了测试环境,这一节我们根据前边序言中的内容,修改一下nameNode的启动代码看是否生效。修改代码在工程 hadoop-hdfs-project中的hadoop-hdfs中找到源文件NameNode.java(在包org.apache.hadoop.hdfs.server.namenode 内)在main 函数内添加以下代码System.out.println("Hello原创 2016-11-26 12:33:10 · 3593 阅读 · 2 评论 -
hadoop 2.7.3 源码分析(三):hadoop远程调试
摘要调试是学习代码流程,查找BUG,修复错误的重要方法,本文内容主要是讲述在前两篇内容的基础上如何配置Idea和hadoop以使其可以使用远程调试(打断点、逐行运行等)功能Idea 设置首先需要将hadoop源码的maven工程导入idea中(这个就不讲了),导入后呢我们可以在模块hadoop-hdfs-project 下找到hadoop namenode启动的源码(在package:org.apa原创 2016-11-26 15:03:43 · 7000 阅读 · 0 评论 -
hadoop 2.7.3 源码分析(四):namenode启动流程
摘要通过前边的文章我们已经知道,hadoop namenode启动的类org.apache.hadoop.hdfs.server.namenode.NameNode,本节内容就顺着其启动流程,查看在namenode启动的过程中其都做了哪些工作。启动我们通过命令$start-dfs.sh启动hadoop集群的namenode和datanode,在namenode启动的过程中JVM首先加载org.apa原创 2016-11-27 14:40:51 · 3211 阅读 · 0 评论 -
hadoop 2.7.3 源码分析(一):环境搭建
序回头想想自己学习大数据相关的技术已经有很长的时间了,在这段时间里主要学习了hadoop、zookeeper、hbase、kafka、flume、spark、storm等等,有一些在工作当中使用到了(比如zookeeper、hadoop)就比较熟悉但大部分都是浅尝辄止没有做深入的研究学习。 hadoop作为时下流行的大数据处理框架,其使用范围广,开发社区活跃。在国内很多大型公司如京东、百度、阿里等原创 2016-11-26 11:50:34 · 2954 阅读 · 0 评论