2018年05月_cp_Mark

原创 Okhttp解析（二）-- 缓存

在上一篇Okhttp解析（一）– 源码中，我们从源码角度分析了同步请求和异步请求的流程，这一篇我们主要是分析Okhttp的缓存实现以及真正发送请求的HttpCodec实现。CacheStrategy在上一篇中，我们简单描述了一下它的作用：给定一个请求和缓存的响应结果，它将决定是否使用网络、缓存或者是两者都使用。其实就是说我们传入原始请求，然后它会返回一个后续请求和缓存结果，在缓存拦截器...

2018-05-24 18:00:39 489

原创 Okhttp解析（一）-- 主体流程

Okhttp是当前最火的网络请求框架，即便是Retrofit也是在Okhttp的基础上做的进一步的封装，便于开发者的使用，本篇我们就从源码的角度出发，分析一下Okhttp网络框架的请求流程，以3.10.0为例。我们就以okhttp在github上给出的get请求的示例代码为例来分析：OkHttpClient client = new OkHttpClient();String run(...

2018-05-23 16:55:11 476

Volley是Google2013年I/O大会发布的一个轻量级的网络请求封装库，适用于多而小的网络请求，原因是它的缓存机制使用的是大小仅为5M的DiskBasedCache缓存。它的整个请求的分发流程，是通过RequestQueue来下发给CacheDispatcher和NetworkDispatcher，具体的流程，如有不懂可参考Volley解析（一）– 源码进行了解。本篇文章的主题是分析Vol...

2018-05-21 21:13:01 240

原创 Volley解析（一）-- 源码

涉及到的知识点：Volley网络请求的流程网络分发器逻辑缓存分发器逻辑线程Lock逻辑准备在正式开始分析Volley源码逻辑之前，有两件事需要搞明白：Volley是怎么使用的？请求的流程是怎样的？我们先从基本的使用开始吧。Volley的使用方式我们以通过点击Button加载图片为例，来说明一下Volley的使用。其实很简单，就是在Activity...

2018-05-19 10:26:56 525

原创 HUE和ZooKeeper

涉及到的知识点：什么是HUEHUE环境搭建什么是ZooKeeper搭建ZooKeeper环境（单节点、集群）ZooKeeper的功能：数据同步、选举机制、分布式锁什么是HUEHue是一个开源的Apache Hadoop UI系统，通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce J...

2018-05-13 22:25:05 998

原创数据采集引擎Sqoop和Flume

涉及到的知识点：Sqoop的安装和配置，及常用命令Flume的安装和配置，及使用Sqoop数据采集引擎Sqoop的特点：采集的是关系型数据库中的数据（批量）一般用于离线计算基于JDBC用于在Oracle <-> Sqoop <-> HDFS、HBase、Hive间进行数据交换Sqoop的安装和配置（1）安装 tar -zx...

2018-05-13 15:41:48 1369

原创数据分析引擎Pig

涉及到的知识点：Pig的体系结构安装和配置（本地模式、集群模式）Pig的常用命令Pig的数据模型 – 表结构（重要）使用PigLatin语句分析数据Pig的自定义函数Pig的体系结构Pig是一个用来处理大规模数据集的平台，由Yahoo开发，贡献给Apache。它可以简化MapReduce任务的开发，支持PigLatin语句（类似SQL）。其本质是一个翻译器，将PigL...

2018-05-12 19:31:28 924

原创数据分析引擎Hive

涉及到的知识点：Hive的体系结构安装和配置Hive的数据模型：内部表、分区表、外部表，桶表、视图Hive的查询（本质就是SQL）Hive的Java API（本质就是JDBC程序）Hive的自定义函数（UDF：user defined function。本质就是一个Java程序）Hive的体系结构Hive其实是构建在Hadoop上的数据仓库平台，为数据仓库管理提供了许...

2018-05-12 11:27:52 1723

原创 HBase环境搭建及使用

涉及到的知识点：HBase的基础知识点Hbase的环境搭建：本地模式、伪分布模式、全分布模式常用功能：命令行操作、Java编程接口（增删改查、过滤器、MapReduce的使用）HAHBase的基础知识点HBase是一种NoSQL数据库，即非关系型数据库。常见的NoSQL数据库有：基于key-value模型：Redis（内存）面向列的模型：HBase、Cassand...

2018-05-07 22:56:06 907

原创 MapperReduce的使用及高级功能

涉及到的知识：Yarn调度MapReduce的过程MapperReduce排序分区CombinerShuffleYarn调度MapReduce的过程Yarn和MapReduce的关系，就跟我们web项目中和tomcat的关系一样，Yarn是MapReduce运行的容器。下面我们先介绍一下Yarn的一些概念。Yarn也是主从结构：ResourceManager（主...

2018-05-06 18:24:58 2190

原创 HDFS高级功能

本篇主要介绍HDFS的高级功能：回收站快照snapshot（一种备份）配额安全模式回收站和我们Window系统上的回收站一样，HDFS也是存在的，不过它默认是关闭的，要开启需要配置。具体的配置如下：vi core-site.xml<property> <name>fs.trash.interval</name>...

2018-05-06 00:57:07 2457

原创 HDFS体系结构及常见功能

本文主要是介绍HDFS的体系结构和常用操作，涉及到的知识点如下：HDFS的体系结构数据上传数据下载HDFS的体系结构Hadoop的生态圈，包括HDFS、Yarn、HBase都是主从结构。对于HDFS来说，它的主节点是NameNode，从节点是DataNode，还有一个更新最新状态的SecondaryNameNode，下面我们对这几个结点做详细的解释。NameNode：...

2018-05-05 16:05:24 6912

原创 Hadoop环境搭建

本文主要是从0开始搭建Hadoop伪分布，涉及到的知识点：VMware创建RetHat Linux虚拟机防火墙免密码登陆本地模式伪分布模式全分布模式准备工作在正式搭建之前，有两件事要做：下载一个VMware12并安装先下一个RetHat Linux的iso文件，可以前往RetHat官网下载开始虚拟机的创建和安装：虚拟机的创建首先在左侧我的计算...

2018-05-02 23:18:41 382

原创 Hadoop背景知识

本文主要涉及到的知识如下：什么是大数据，大数据的核心问题是什么？Hadoop的理论来源什么是大数据，大数据的核心问题是什么在了解大数据的概念之前，我们需要先了解以下几个概念：（1）OLTP：On-Line Transaction Processing(联机事务处理过程)，也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间...

2018-05-01 21:14:47 640

cp_Mark的博客