- 博客(8)
- 收藏
- 关注
RSS订阅转载 Hadoop源码学习笔记之NameNode启动场景流程五：磁盘空间检查及安全模式检查
本篇内容关注NameNode启动之前，active状态和standby状态的一些后台服务及准备工作，即源码里的CommonServices。主要包括磁盘空间检查、 可用资源检查、安全模式等。依然分为三部分：源码调用分析、伪代码核心梳理、调用关系图解。 第一部分，源码调用分析。 接着上篇RpcServer启动之后开始梳理，进入到了initialize()方法中。 prote...
2019-02-20 18:46:00
328
转载 Hadoop源码学习笔记之NameNode启动场景流程四：rpc server初始化及启动
老规矩，还是分三步走，分别为源码调用分析、伪代码核心梳理、调用关系图解。 一、源码调用分析 根据上篇的梳理，直接从initialize()方法着手。源码如下，部分代码的功能以及说明，已经在注释阐述了。 protected void initialize(Configuration conf) throws IOException { // 可以通过找到下面变量名的映射...
2019-02-13 10:20:00
191
转载 Hadoop源码学习笔记之NameNode启动场景流程三：FSNamesystem初始化源码剖析
上篇内容分析了http server的启动代码，这篇文章继续从initialize()方法中按执行顺序进行分析。内容还是分为三大块： 一、源码调用关系分析 二、伪代码执行流程 三、代码图解 一、源码调用关系分析 上一篇内容是NameNode启动http server的分析，是根据锁定NameNode的main()入口，发现了该入口仅有两行核心代码，先进入到了第一行核心...
2019-01-29 17:47:00
191
转载 Hadoop源码学习笔记之NameNode启动场景流程二：http server启动源码剖析
NameNodeHttpServer启动源码剖析，这一部分主要按以下步骤进行： 一、源码调用分析 二、伪代码调用流程梳理 三、http server服务流程图解 第一步，源码调用分析 前一篇文章已经锁定到了NameNode.java类文件，搜索找到main()，可以看到代码只有寥寥几行，再筛除掉一些参数校验以及try-catch逻辑代码， 剩下的核心的代码...
2019-01-24 19:06:00
143
转载 Hadoop源码学习笔记之NameNode启动场景流程一：源码环境搭建和项目模块及NameNode结构简单介绍...
最近在跟着一个大佬学习Hadoop底层源码及架构等知识点，觉得有必要记录下来这个学习过程。想到了这个废弃已久的blog账号，决定重新开始更新。 主要分以下几步来进行源码学习： 一、搭建源码阅读环境二、源码项目结构概览及hdfs源码包结构简介三、NameNode介绍 第一步，搭建源码阅读环境。 把Hadoop源码包导入到开发工具，eclipse或者idea都行。这里我的环境是...
2019-01-24 14:44:00
126
转载 java爬虫爬取网页内容前，对网页内容的编码格式进行判断的方式
近日在做爬虫功能，爬取网页内容，然后对内容进行语义分析，最后对网页打标签，从而判断访问该网页的用户的属性。 在爬取内容时，遇到乱码问题。故需对网页内容编码格式做判断，方式大体分为三种：一、从header标签中获取Content-Type=#Charset；二、从meta标签中获取Content-Type=#Charset；三、根据页面内容分析编码格式。 其中一/二方式并不能准确指示该...
2016-07-21 18:24:00
254
转载 hadoop分布式安装及其集群配置笔记
各机器及角色信息： 共10台机器，hostname与ip地址映射在此不做赘述。此为模拟开发环境安装，所以不考虑将NameNode和SecondaryNameNode安装在同一台机器。 节点 角色 namenode01 namenode namenode02 secondarynamenode datanode01 ...
2015-11-09 14:53:00
77
转载 Python基础学习笔记（一）安装以及IDE的配置
一、初识Python Python官方网站：www.python.org 版本：python-3.4.3.amd64 初次接触Python，没有使用Python 2.x进行开发真实项目的经历。所以不知2.x版本和3.x版本孰优孰劣，目前是作为一门兴趣来了解及学习。 二、安装 windows环境安装 由于未有真实的Python开发经验，切目前仅限于学习，故所...
2015-04-28 14:53:00
66
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人