大数据框架图谱(总览)

前言 加入大数据开发加起来也差不多快1年多的时间了。最近的时间比较空余,正好把所有的大数据开源框架都总结一下。 Hadoop & Hive & Pig &am...

2018-03-23 15:11:16

阅读数 3392

评论数 0

Hadoop安装(集群)

前言 在前面的章节中, 我们介绍了Hadoop 安装(单结点). 本章中,我们介绍下Hadoop的集群安装模式. 前置条件 三台VMware虚拟机, 分别为: 192.168.31.60 192.168.31.61 192.168.31.62 其主机名称分别为: sean60/sean61/...

2019-03-26 00:35:43

阅读数 1

评论数 0

Hadoop 安装(单结点)

前言 Hadoop的部署与安装是Hadoop研究过程中必定不可缺少的一环. Hadoop部署方式分三种,Standalone mode、Pseudo-Distributed mode、Cluster mode,其中前两种都是在单机部署。本章主要讲述如何在Standalone mode与Pseudo...

2019-03-25 11:15:20

阅读数 4

评论数 0

ZooKeeper 使用场景之 负载均衡

前言 上章,我们简单了解了下ZooKeeper内的成员变量及调度服务.本章主要讲解下ZooKeeper的负载均衡. 正文 假设我们有3台服务器用于负载.那么有一台Client,其该怎么链接哪台机器呢?当其链接的主机宕机后该链接哪台服务器呢?我们可以使用Nginx或KeepAlive或者心跳机制....

2019-03-23 22:46:45

阅读数 111

评论数 0

ZooKeeper 基本架构 与常见运用

前言 在前面的章节ZooKeeper 基本操作 与 Java APIs我们介绍了.ZooKeeper的基本使用.本章中,我们将讲解下ZooKeeper的基本架构与常见的运用. 基本架构 使用场景 基本架构 在讲述基本架构之前, 我们先问一个问题: 什么是ZooKeeper? ZooKeep...

2019-03-23 22:29:19

阅读数 8

评论数 0

ZooKeeper 基本操作 与 Java APIs

前言 在前章ZooKeeper安装(集群化)我们安装ZooKeeper集群. 本章, 我们讲解下ZooKeeper的基本操作. 命令行操作 我们通常使用zkCli.sh脚本进行登陆.登陆命令:./zkCli.sh --server 192.168.31.60:2181 其后,基本操作主要有如下几...

2019-03-23 21:58:47

阅读数 103

评论数 0

Java核心基础(总章)

前言 最近又看了一遍Java基础.顺便将之前博客内的内容都汇总一下. 正文 Java基础相关的博文主要包括如下内容: [1]. JAVA核心解析:JDK和JRE [2]. Java基础(二) 注释和基本数据类型 [3]. Java基础(三) Java变量、操作符及判断和循环语句 [4]. Jav...

2019-03-23 15:56:23

阅读数 28

评论数 0

ZooKeeper安装(集群化)

前言 重新安装了下ZooKeeper,仍然遇到了一些问题.将操作流程记录如下. 基本操作 前提条件: JDK. 基本机器: 192.168.31.60 192.168.31.61 192.168.31.62 对于ZooKeeper而言, Master与Follower结点是通过选举选举出...

2019-03-23 12:40:48

阅读数 119

评论数 0

Linux 集群脚本基础

前言 在最近安装虚拟机集群的时候,随意写了下虚拟机集群的脚本. 基础知识 分割字符串 shell 使用指定的分割符来分割字符串 #!/bin/bash string="hello,shell,haha" array=(${string//,/ }) for var...

2019-03-23 11:35:03

阅读数 39

评论数 0

VMware虚拟机 网桥模式详细配置(及计算机网络基本知识 IP/子网掩码/网关/DNS)

前言 在昨日配置虚拟机的时候,虚拟机内部无法访问百度等网站进行资源下载.查明看了很多资料之后,发现是因为网关配置错误了.(真是有点蛋疼.)于是将网桥模式的配置过程详细配置如下. 基本操作 点击编辑下的网络配置,恢复默认设置. 选择桥接模式,选择需要的网卡.(注意 无线网选无限网卡 / 有线...

2019-03-23 11:17:11

阅读数 9

评论数 0

Java 多线程技巧

总结 本章主要记录.Java多线程分析和使用过程中的一些技巧.后续的内容也会陆续补充在此处. 正文 如何Dump文件? 使用jstack -l <pid> >> filename. 例如: jstack -l 20866 &gt...

2019-03-23 10:21:32

阅读数 16

评论数 0

HashMap 线程安全问题

前言 我们紧接着上节ArrayList 线程安全问题讲下HashMap的线程安全问题. 之前看书,书中经常会提及.HashTable是线程安全的,HashMap是线程非安全的.在多线程的情况下, HashMap会出现死循环的情况.此外,还会推荐使用新的JUC类 ConcurrentHashMap....

2019-03-21 21:55:33

阅读数 37

评论数 0

ArrayList 线程安全问题

前言 在观看多线程书籍的时候,经常会看到大家提及ArrayList与HashMap时候.皆会说明, ArrayList与HashMap类型都不是线程安全的. 那么,在传统的集合包内的集合类到底为什么线程非安全呢?在新的JUC包类又有什么可以替代呢? 让我们开始今天的部分. 本章主要包括如下几个部分...

2019-03-21 17:33:39

阅读数 514

评论数 0

JUC包 (二) CountDownLatch、CyclicBarrier、Semaphore 工具类

前言 在Java 多线程(三) 线程通信内我们介绍了可以使用join()方法来控制某个线程在一众线程后执行. 正这一节中,我们将介绍三种工具类,同样实现这一目标. 三种工具使用场景各部相同. 本章主要分为如下几个部分: CountDownLatch类 CycleBarrier类 Semaphor...

2019-03-20 02:28:21

阅读数 39

评论数 0

JUC包 (一) 原子类 与 CAS操作

前言 在前四个模块中,我们主要介绍了Thread类、synchronized与volatile关键字、线程通信、ReentrantLock锁. 本节我们将介绍Java中的原子操作. 本章主要包括如下几个部分: 原子更新基本类型 原子更新数组 原子更新引用类型 原子更新字段类 正文 原子更新基...

2019-03-20 01:48:14

阅读数 36

评论数 0

Java 多线程(四) 锁与锁机制

前言 在Java 多线程(二) Synchronized与Volatile关键字内我们介绍了synchronized关键字,以及与锁之间的关系.在本章中,我们将继续介绍这部分的内容 同时,我们可以解决在Java 多线程(三) 线程通信中提及的,无法唤醒某个特定线程的问题.(Condition类进行...

2019-03-20 00:59:17

阅读数 49

评论数 0

Java 多线程(三) 线程通信

前言 在前一章我们介绍了线程中较为重要的几个关键字synchronized与volatile.synchronized关键字主要是用于标示线程的同步关系与锁.volatile主要是用于将线程内的局部变量与进程总变量之间的交互关系. 本文我们将介绍下线程之间的相互通信.本章主要包括如下的几个部分的内...

2019-03-19 16:31:51

阅读数 48

评论数 0

Java 多线程(二) Synchronized与Volatile关键字

前言 在上章中,我们介绍了Java Thread API.本章我们介绍下Java中的Synchronized与Volatile关键字. 在本章中,我们将介绍如下的几个模块: Synchronized关键字 线程安全问题 synchronized 关键字的使用 对象锁与类锁 Synchroniz...

2019-03-19 01:46:03

阅读数 31

评论数 0

[Java基础] 如何保留两位小数

前言 前段时间在处理float类型的数据的时候,发现在float/double类型的数据输出时,总会遇到这样的问题. 例如: 1.000000000005. 问题: 1. 位数过多,看起来比较难受; 2. 最后的尾数有偏移. 解决办法: 将尾数四舍五入;将位数进行截断. 正文 如何保留2位小数...

2019-03-18 11:38:03

阅读数 29

评论数 0

Java 多线程(一) Thread API 基础

前言 Java自开发之初就具有多线程多特性,其于JDK1.5又增添了java.util.concurrent内增添了非常多的多线程组件.于本章之中,我们优先总结下在Java初期,我们经常使用的Java API. 其中,虽然stop()等方法已经废弃,我们仍然将其提出,并且提出其优/缺点. Java...

2019-03-18 01:37:15

阅读数 17

评论数 0

提示
确定要删除当前文章?
取消 删除