- 博客(8)
- 收藏
- 关注
转载 Hadoop源码学习笔记之NameNode启动场景流程五:磁盘空间检查及安全模式检查
本篇内容关注NameNode启动之前,active状态和standby状态的一些后台服务及准备工作,即源码里的CommonServices。主要包括磁盘空间检查、 可用资源检查、安全模式等。依然分为三部分:源码调用分析、伪代码核心梳理、调用关系图解。 第一部分,源码调用分析。 接着上篇RpcServer启动之后开始梳理,进入到了initialize()方法中。 prote...
2019-02-20 18:46:00 350
转载 Hadoop源码学习笔记之NameNode启动场景流程四:rpc server初始化及启动
老规矩,还是分三步走,分别为源码调用分析、伪代码核心梳理、调用关系图解。 一、源码调用分析 根据上篇的梳理,直接从initialize()方法着手。源码如下,部分代码的功能以及说明,已经在注释阐述了。 protected void initialize(Configuration conf) throws IOException { // 可以通过找到下面变量名的映射...
2019-02-13 10:20:00 212
转载 Hadoop源码学习笔记之NameNode启动场景流程三:FSNamesystem初始化源码剖析
上篇内容分析了http server的启动代码,这篇文章继续从initialize()方法中按执行顺序进行分析。内容还是分为三大块: 一、源码调用关系分析 二、伪代码执行流程 三、代码图解 一、源码调用关系分析 上一篇内容是NameNode启动http server的分析,是根据锁定NameNode的main()入口,发现了该入口仅有两行核心代码,先进入到了第一行核心...
2019-01-29 17:47:00 286
转载 Hadoop源码学习笔记之NameNode启动场景流程二:http server启动源码剖析
NameNodeHttpServer启动源码剖析,这一部分主要按以下步骤进行: 一、源码调用分析 二、伪代码调用流程梳理 三、http server服务流程图解 第一步,源码调用分析 前一篇文章已经锁定到了NameNode.java类文件,搜索找到main(),可以看到代码只有寥寥几行,再筛除掉一些参数校验以及try-catch逻辑代码, 剩下的核心的代码...
2019-01-24 19:06:00 159
转载 Hadoop源码学习笔记之NameNode启动场景流程一:源码环境搭建和项目模块及NameNode结构简单介绍...
最近在跟着一个大佬学习Hadoop底层源码及架构等知识点,觉得有必要记录下来这个学习过程。想到了这个废弃已久的blog账号,决定重新开始更新。 主要分以下几步来进行源码学习: 一、搭建源码阅读环境二、源码项目结构概览及hdfs源码包结构简介三、NameNode介绍 第一步,搭建源码阅读环境。 把Hadoop源码包导入到开发工具,eclipse或者idea都行。这里我的环境是...
2019-01-24 14:44:00 144
转载 java爬虫爬取网页内容前,对网页内容的编码格式进行判断的方式
近日在做爬虫功能,爬取网页内容,然后对内容进行语义分析,最后对网页打标签,从而判断访问该网页的用户的属性。 在爬取内容时,遇到乱码问题。故需对网页内容编码格式做判断,方式大体分为三种:一、从header标签中获取Content-Type=#Charset;二、从meta标签中获取Content-Type=#Charset;三、根据页面内容分析编码格式。 其中一/二方式并不能准确指示该...
2016-07-21 18:24:00 273
转载 hadoop分布式安装及其集群配置笔记
各机器及角色信息: 共10台机器,hostname与ip地址映射在此不做赘述。此为模拟开发环境安装,所以不考虑将NameNode和SecondaryNameNode安装在同一台机器。 节点 角色 namenode01 namenode namenode02 secondarynamenode datanode01 ...
2015-11-09 14:53:00 89
转载 Python基础学习笔记(一)安装以及IDE的配置
一、初识Python Python官方网站:www.python.org 版本:python-3.4.3.amd64 初次接触Python,没有使用Python 2.x进行开发真实项目的经历。所以不知2.x版本和3.x版本孰优孰劣,目前是作为一门兴趣来了解及学习。 二、安装 windows环境安装 由于未有真实的Python开发经验,切目前仅限于学习,故所...
2015-04-28 14:53:00 80
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人