呼呼的小窝

笨鸟先飞

设计模式系列(一)—— 简单工厂

原理 定义与类型 定义:由一个工厂对象决定创建出哪一种产品类的实例 类型:创建型,但不属于23种设计模式 注意:抽象工厂和工厂方法都是由简单工厂一步一步演进过来的 适用场景 工厂类负责创建的对象比较少 客户端(应用层)只知道传入工厂类的参数 对于如何创建对象(逻辑)不关心 优点与缺点 优点...

2019-06-09 01:27:18

阅读数 17

评论数 0

Java反射总结

概述 Java反射机制是在运行状态中 在运行过程中,可以利用反射机制提供的技术为我们做一些事情,而这些事情对于框架来说是非常重要的 对于任何一个类,都能知道该类的所有属性和方法 前提是在运行状态下,利用反射机制提供的功能是可以知道获取到这些内容的 对于任何一个对象,都能调用它的任意一个方法和属性...

2019-05-02 23:03:04

阅读数 34

评论数 0

大数据集群资源监控

背景: 公司自建IDC机房,基于IDC机房构建大数据集群;需要对集群资源进行监控,集群采用的是CDH集群,采集主要分两块进行: HDFS和YARN相关的指标进行采集 IDC机器自身的指标进行采集 注意: 也许有人会有疑惑,CM界面已经提供了监控的图表,为什么还需要自己进行展示。原因在于,这些信...

2019-04-11 02:21:50

阅读数 128

评论数 0

Hive调优技巧

本篇文章转载自:https://blog.csdn.net/Superman404/article/details/84074771 1.Fetch抓取 set hive.fetch.task.conversion=more(默认) Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用...

2019-04-07 22:54:32

阅读数 88

评论数 0

StructuredStreaming学习笔记(一) —— 简介&背景&概述

本文是StructuredStreaming的学习笔记,主要将从如下几个方面进行记录: Structured Streaming简介&背景&概述 入门案例&流程剖析&编程模型 Input Sources Output Sinks O...

2019-03-31 00:20:34

阅读数 62

评论数 0

Kafka系列 —— 生产实践分享

Kafka系列文章: Kafka系列 —— 入门及应用场景 & 部署 & 简单测试 Kafka系列 —— Kafka核心概念 Kafka系列 —— Kafka常用命令 Kafka系列 —— Kafka监控 Kafka系列 —...

2019-03-02 23:38:57

阅读数 348

评论数 0

Java多线程总结

文章目录线程的实现方式继承Thread类实现Runnable接口两种启动方式的比较Thread的JDK源码分析源码中Thread.java代码中的相关描述源码中关于start方法的相关描述Thread构造方法变量在线程中的使用成员变量局部变量线程的同步问题案例演示&问题提出...

2019-02-16 03:04:07

阅读数 307

评论数 0

mac下编译Hadoop 2.8.1报错An Ant BuildException has occured: exec returned: 1,排错过程

编译hadoop 2.8.1,产生报错,报错信息如下: 通过报错信息,我们去对应的路径下查看build-main.xml文件: <?xml version="1.0" encoding="UTF-8" ...

2019-02-07 00:32:23

阅读数 627

评论数 0

Kafka系列 —— Kafka消费语义分析&分区策略解读

Kafka系列文章: Kafka系列 —— 入门及应用场景 & 部署 & 简单测试 Kafka系列 —— Kafka核心概念 Kafka系列 —— Kafka常用命令 Kafka系列 —— Kafka监控 Kafka消费语义分析 通常架构:Flu...

2019-01-27 22:58:28

阅读数 686

评论数 0

Shell在大数据场景中的使用

shell脚本在任何场景中都比较常见,对于大数据中也是如此,本文将以metastore service为例,讲解如何在大数据场景中编写一个通用的metastore service的shell脚本 hive metastore service 通常来说Hive的使用方式有2种: 直接启动h...

2019-01-14 00:20:29

阅读数 311

评论数 0

Kafka系列 —— Kafka监控

Kafka系列文章: Kafka系列 —— 入门及应用场景 & 部署 & 简单测试 Kafka系列 —— Kafka核心概念 Kafka系列 —— Kafka常用命令 常见Kafka监控工具介绍 1 ...

2018-12-23 01:46:41

阅读数 390

评论数 0

Kafka系列 —— Kafka常用命令

Kafka系列文章: Kafka系列 —— 入门及应用场景 & 部署 & 简单测试 Kafka系列 —— Kafka核心概念 创建topic bin/kafka-topics.sh --create \ --zookeeper 192.168.1...

2018-12-08 20:59:54

阅读数 777

评论数 0

Kafka系列 —— Kafka核心概念

Kafka系列文章: Kafka系列 —— 入门及应用场景 & 部署 & 简单测试 topic & partition & replication bin/kafka-topics.sh --cre...

2018-11-26 01:16:11

阅读数 709

评论数 0

Kafka系列 —— 入门及应用场景 & 部署 & 简单测试

Kafka系列为自己学习与使用Kafka中遇到的问题与总结。本系列将介绍如下内容: Kafka入门及应用场景 & 部署 & 简单测试 Kafka核心概念 Kafka常用命令 Kafka监控 ...

2018-11-25 01:20:04

阅读数 979

评论数 0

Livy简单使用 & 架构解读

Livy使用 —— 关于Session的操作 官网案例:http://livy.incubator.apache.org/examples/ REST API:http://livy.incubator.apache.org/docs/latest/rest-api.html 通过REST API...

2018-11-10 02:26:03

阅读数 2363

评论数 4

Livy安装&部署

官网 http://livy.incubator.apache.org/get-started/ Download [hadoop@hadoop001 software]$ wget http://mirrors.hust.edu.cn/apache/incubator/livy/0.5.0-in...

2018-11-05 01:14:28

阅读数 768

评论数 0

初识livy

背景介绍 对于Spark有这样一个应用场景:Spark应用程序都是通过spark-submit进行提交的;而在工作当中,肯定是要将我们的spark-submit封装到shell里面去的,比如:今天凌晨去处理昨天的数据,肯定是需要获取到date,然后做 date - 1 操作(当前天数减1就是昨天...

2018-10-31 01:34:46

阅读数 887

评论数 0

大数据开发工程师校招面经

一只菜鸟在校招面试过程中,大数据开发岗位的一些面经 新华智云 一面(30分钟) 谈谈你对HDFS的了解 Hadoop2.0做了哪些改动 Spark与MR的区别在哪里 知道除了Spark之外的大数据处理框架嘛 Spark shuffle,说说 StringBuilder与StringBuffer的...

2018-10-19 18:17:15

阅读数 1978

评论数 2

synchronized关键字原理

不管是在校招还是社招中的面试,常会被问到volatile与synchronized的区别,在volatile关键字剖析文章中已经介绍了相关的原理,在本篇中将剖析synchronized关键字原理 众所周知 synchronized 关键字是解决并发问题常用解决方案,有以下三种使用方式: 同步普通...

2018-10-15 22:59:12

阅读数 205

评论数 0

volatile关键字剖析

volatile的语义 一旦一个共享变量(类的成员变量、类的静态成员变量)被volatile修饰之后,那么就具备了两层语义: 保证了不同线程对这个变量进行操作时的可见性 即一个线程修改了某个变量的值,这新值对其他线程来说是立即可见的 禁止进行指令重排序 举例,线程1先执行,线程2后执行: //...

2018-10-07 18:42:44

阅读数 255

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭