2017年12月_鸣宇淳

12月 11月

原创【十八掌●基本功篇】第一掌：Java之String的equals方法

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌1、Java的一个例子public static void main(String[] arge) { //1 String str1 = new String("1234"); String str2 = new String("12

2017-12-29 14:23:08 353

原创【十八掌●基本功篇】第一掌：Java之多线程--锁

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌synchronized可以实现同步访问，java.util.concurrent.locks包下的Lock也可以实现同步访问。 synchronized是java中的一个关键字，是Java语言内置的特性。处于synchronized作用下的代码块或者方法代码块，是不允许两个线程同时进入，不管是读操作还是

2017-12-19 18:24:31 410

转载 GitChat·大数据 | 史上最详细的Hadoop环境搭建

GitChat 作者：鸣宇淳原文：史上最详细的Hadoop环境搭建关注公众号：GitChat 技术杂谈，一本正经的讲技术【不要错过文末彩蛋】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路

2017-12-14 10:31:51 1871 1

原创【十八掌●基本功篇】第一掌：Java之多线程--3-线程池

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌系列文章：【十八掌●武功篇】第一掌：Java之IO 【十八掌●武功篇】第一掌：Java之多线程–1-一些概念【十八掌●武功篇】第一掌：Java之多线程–2-join、同步、死锁、等待【十八掌●武功篇】第一掌：Java之多线程–3-线程池1、线程池线程池的基本思想是开辟一

2017-12-13 09:31:39 378

原创【十八掌●基本功篇】第一掌：Java之多线程--2-join、同步、死锁、等待

1、join() 方法join()方法可以理解为线程插队。停止当前线程，先执行插入的线程，当插入的线程执行完毕后，再执行当前线程。看下面的例子：package join;/** * Created by 鸣宇淳 on 2017/12/7. */public class MyJoinRunner implements Runnable { //子线程 public

2017-12-12 19:56:25 645

原创【十八掌●基本功篇】第一掌：Java之多线程--1-一些概念

一、进程1、操作系统教程中对进程的描述进程的两个基本特征(1) 进程是一个拥有资源的独立单元 (2) 进程是一个被操作系统独立调度和执行的基本单元。进程的特点(1) 动态特征：进程是程序的一次执行过程，是临时的，有生命期的，是动态产生，动态消亡的； (2) 并发特征：任何进程都可以同其他进程一起并发执行； (3) 独立特征：进程是系统进行资源分配和调度的一个独立单位；

2017-12-12 19:55:58 483

原创【十八掌●基本功篇】第一掌：Java之IO

一、 Java IO主要类结构图二、 Java IO概述1、流的概念在两个程序节点间传输的数据是流。2、字节流和字符流的区别字节流处理的单位是字节，长度为8位；字符流处理的单位是字符，长度为2个字节的Unicode字符，长度为16位。字节流可以处

2017-12-06 14:43:04 728

原创【十八掌●基本功篇】第一掌：Java之多线程--信号量

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌

2017-12-04 09:42:01 337

原创【十八掌●武功篇】第十六掌：Spark之RDD简介

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌系列文章：【十八掌●武功篇】第十六掌：Spark之Scala安装和HelloWorld 【十八掌●武功篇】第十六掌：Spark之Scala语法快速概览【十八掌●武功篇】第十六掌：Spark之简介、安装、Demo 【十八掌●武功篇】第十六掌：Spark之RDD简介一、定义...

2017-12-02 07:56:55 516

原创【十八掌●武功篇】第十六掌：Spark之Scala语法快速概览

一安装Scala 确保Java安装成功解压scala-2104tgz 配置Scala环境变量启动Scala命令行二 Windows下安装IDEA的Scala插件在IDEA中File打开Setting 安装Scala插件三 HelloWord 下载Window版本的Scala-2104 创

2017-12-02 07:54:28 434

原创【十八掌●武功篇】第十六掌：Spark之Scala安装和HelloWorld

一、安装Scala1、确保Java安装成功[hadoop@spark01-61cdh scala-2.10.4]$ java -versionjava version "1.7.0_111"[hadoop@spark01-61cdh scala-2.10.4]$ echo $JAVA_HOME/opt/modules/jdk1.7.0_62、解压scala-2.10

2017-12-02 07:53:13 555

原创【十八掌●武功篇】第十六掌：Spark之简介、安装、Demo

一、 Spark功能和优势1. Spark功能Spark类似于MapReduce，是另一种分布式计算框架二、 Spark与MR三、 Spark源码编译四、安装Spark（本地部署模式）五、 Spark Shell使用

2017-12-02 07:48:36 891

原创【十八掌●内功篇】第六掌：YARN之YARN资源调度器

1、资源调度器的职能资源调度器是YARN最核心的组件之一，是一个插拔式的服务组件，负责整个集群资源的管理和分配。YARN提供了三种可用的资源调度器：FIFO、Capacity Scheduler、Fair Scheduler。2、资源调度器的分类3、基本架构4、资源调度模型5、层级队列管理机制7、 Fair Scheduler

2017-12-02 07:40:41 620

原创【十八掌●内功篇】第六掌：YARN之ApplicationMaster

ApplicationMaster实际上是特定计算框架的一个实例，每种计算框架都有自己独特的ApplicationMaster，负责与ResourceManager协商资源，并和NodeManager协同来执行和监控Container。MapReduce只是可以运行在YARN上一种计算框架。1、 AM的职能2、报告活跃3、资源需求4、调度5、启动Container

2017-12-02 07:39:12 2178

原创【十八掌●内功篇】第六掌：YARN之NodeManager

1、 NM的职能2、 NM内部结构3、节点健康状态检测4、分布式缓存机制5、目录结构管理6、状态机管理7、 Container生命周期

2017-12-02 07:37:55 807 1

原创【十八掌●内功篇】第六掌：YARN之ResourceManager

ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个NodeManager的资源汇报信息，并把这些信息按照一定的策略分配给各个ApplicationMaster。1、 RM的职能2、 RM的内部结构3、启动AM流程4、申请和分配Container流程5、杀死Application流程6、 Container超时7、安全管理8、 RM HA架构

2017-12-02 07:35:55 924

原创【十八掌●武功篇】第十二掌：Flume之安装和测试使用

选用CDH版本的Flume1、下载Flume安装包http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.3.6.tar.gz2、解压安装包tar -zxvf /opt/software/flume-ng-1.5.0-cdh5.3.6.tar.gz -C /opt/modules/3、配置

2017-12-02 07:32:56 473

原创【十八掌●武功篇】第十二掌：Flume之Source、Channel、Sink

一、 SourceSource是从Flume Agent外部接收数据的组件，接收数据后写入到一个或者多个Channel中。二、 ChannelChannel是位于Source和Sink之间的缓冲区，Channel允许Source和Sink运行在不同的速率上，Channel是保证Flume不丢失数据的关键三、 SinkSink将数据从Channel里读取出来然后插入到其他外部数据存储中

2017-12-02 07:31:14 1043

原创【十八掌●武功篇】第十三掌：Storm之基础知识

一、 Storm简介1、介绍Storm是一个分布式的实时计算系统，用来可靠地处理持续不断的数据流。 Storm可以应用到很多场景中，包括实时分析、在线机器学习、连续计算等。 Strom的处理速度非常快，而且是可伸缩、容错的系统，并且可以保证每一条数据被妥善处理。2、 Storm框架核心Storm框架的核心由7个部分组成：(1) Topology一个Topol

2017-12-01 16:40:06 322

原创【十八掌●武功篇】第十二掌：Flume之工作原理与使用

一Flume简介1.Flume定义2.使用Flume的原因3.一个应用实例二Flume工作原理4.Flume组成5.常用的source类型6.常用的channel类型7.常用的sink类型8.FlumeAgent内部原理9.FlumeAgent之间的通信10.无数据丢失保证和channel事务11.批量event处理三Flume的使用12.配置FlumeAgent启动FlumeAgent

2017-12-01 08:51:34 642

原创【十八掌●武功篇】第八掌：HBase之安装与集成

一、 HBase安装部署—伪分布式安装

2017-12-01 08:47:59 618

原创【十八掌●武功篇】第八掌：HBase之性能调优

第九部分： HBase性能调优

2017-12-01 08:47:26 592

原创【十八掌●武功篇】第八掌：HBase之过滤器总结

二十二、比较过滤器

2017-12-01 08:46:49 567

原创【十八掌●武功篇】第八掌：HBase之基本操作Java API

十八、写入数据

2017-12-01 08:46:13 526

原创【十八掌●武功篇】第八掌：HBase之基本概念

第一部分： HBase概述

2017-12-01 08:44:41 655

原创【十八掌●武功篇】第八掌：HBase之Shell

十二、 HBase Shell命令概览

2017-12-01 08:43:49 587

原创【十八掌●内功篇】第五掌：HDFS之Shell

这一篇博文是【大数据技术●降龙十八掌】系列文章的其中一篇，点击查看目录：大数据技术●降龙十八掌可以通过hadoop fs –help命令来查看HDFS Shell命令的说明。大部分的HDFS Shell和Linux的shell相似。一般的shell命令格式为：bin/hadoop command [genericOptions] [commandOptions]comman

2017-12-01 08:38:35 700