- 博客(461)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 Hive 的安装与配置
前言在前面的章节内, 我们主要介绍了Hadoop体系内的相关知识. 本章中, 我们介绍下Hive的安装与使用.什么是Hive?个人认为, Hive是用来简化Hadoop的Map/Reduce操作的工具架构. 方便统计与搜查Hadoop表形式文件. 后继者Spark SQL与其特别的相似.安装Hive的安装主要包括如下几步:下载安装包到本地, 解压. http://mirror....
2019-04-04 17:31:44
745
原创 Hadoop HDFS 基本原理(文件上传 & 文件下载 & NameNode & Secondary NameNode)
前言在前面的几章内,我们介绍了Hadoop Shell 命令 与 WordCount与Hadoop HDFS的Java API使用. 本章我们稍微讲解下Hadoop的客户端提交、Hadoop服务端 、Secondary namenode原理.概述HDFS集群分为2大角色: NameNode 与 DataNode/Secondary NameNode.NameNode负责整个文件系统的原...
2019-04-03 23:09:19
948
5
原创 Hadoop HDFS的Java API使用
前言在前面的章节中Hadoop Shell 命令 与 WordCount. 我们介绍了经常使用的HDFS经常使用的Shell命令. 本章我们讲解下 Hadoop的HDFS Java API.正文Reference[1].
2019-04-03 17:16:39
2860
原创 Linux 文本处理三剑客(grep/sed/awk)
前言之前在Linux的使用过程中都是使用grep, 以及sed替换较多. 今天借此总体了解下其他的命令. 本文只对于其做一些简单的介绍, 详细链接可以看下手册.正文greplocalhost:Desktop Sean$ grep -husage: grep [-abcDEFGHhIiJLlmnOoqRSsUVvwxZ] [-A num] [-B num] [-C[num]] [-...
2019-04-02 20:41:26
665
原创 Linux基础之 getopts
前言我们在使用别的东西的脚本的时候, 经常有这样的操作. cp -rp xxx/ xxx/. 其中-rp是对于原命令的可选项, 可是对于原命令的一个增强. 其实, 这是使用了getopt.正文getopt命令 为我们提供了-x(单字母缩写)与--name(长单词)这两种选项. 其实, 在我们使用不是需要特别多的选择的时候-x(单字母缩写)完全是够用了.case1 简单例子基本使用. ...
2019-04-02 17:55:22
403
原创 Linux基础 之 curl 命令
前言在命令的使用过程中, 我们也经常使用curl命令. 在此, 总结下curl命令的常见用法.正文curl使用curl -h可以看到curl命令的所有选项. 我们经常使用的无非curl地址、curl返回值、curl请求类型、curl请求主体等.localhost:mapreduce Sean$ curl -hUsage: curl [options...] <url>...
2019-04-02 17:03:08
1876
原创 常见的Linux命令缩写
前言之前在思考Linux 命令中du与df的命令的英文名字的时候, 查询了一下. 发现我们经常使用的Linux命令都是英文字母的缩写. 今天在此, 将这些内容简单的总结一下.正文文件目录&文件操作命令ls ：list(列出目录内容). ls -a是list -all的缩写, 意在查看所有文件.touch: touch.创建文件.rm：Remove（删除目录或文件）mkdi...
2019-04-02 12:21:12
2335
原创 Hadoop Shell 命令 与 WordCount
前言在前2章内, 我们分别介绍了Hadoop安装的3种形式(Standalone mode/ Pseudo-Distributed mode/Cluster mode). 本章, 我们介绍如何使用HDFS命令进行一些基本的操作. 官方的操作文档可以查看Hadoop Shell命令.正文前置条件已经安装Hadoop集群, 并启动. 从页面可以看到, 我们HDFS系统的文件目录.基本操作...
2019-03-30 17:34:51
611
原创 Spark Shell 的使用
前言前一章中我们介绍了Spark的Standalone模式的安装. 本章我们介绍下Spark Shell操作窗口的基本的安装.基本启动与使用基本启动与使用本地启动进入./bin目录, 使用spark-shell即可启动.localhost:bin Sean$ spark-shellPicked up JAVA_TOOL_OPTIONS: -Dfile.encoding=UT...
2019-03-30 15:32:56
16266
原创 Spark 安装 Standalone模式 (单机与集群)
前言今天我们了解下Spark的安装. Spark的安装模式有很多模式, 主要包括Spark Standalone、Running Spark on YARN、Running Spark on Kubernetes、Running Spark on Mesos. 其中YARN/Mesos/Kubernetes都是资源的调度器. 本章我们将简单的介绍下Spark Standalone在单机与集群模...
2019-03-29 17:09:04
2480
原创 Java 多线程面试题
前言在看完《Java多线程编程核心技术》与《Java并发编程的艺术》之后,对于多线程的理解到了新的境界. 先拿如下的题目试试手把.投行面试Q1: 现在有线程 T1、T2 和 T3。你如何确保 T2 线程在 T1 之后执行，并且 T3 线程在 T2 之后执行？答案: 使用Thread.join()方法即可.当然JUC包内提供了CountDownLatch与CyclicBarrier工具...
2019-03-27 20:06:51
2638
2
原创 Java 多线程(总章)
前言随着CPU核数的不断增多,多线程技术变得越来越重要.就个人感觉, 其也是分布式研究的基础. 在新时代内, 必然会从本机多线程协作向多机多进程协作进行发展.(最近比较火的Hadoop与Spark皆是如此).Java内的多线程技术来源已久, 从开始的Thread/Runnable结构、synchronized/volatile、wait / notify / join, 到现在的、AQS、Lo...
2019-03-27 10:54:07
292
原创 JUC包(六) Executor框架
前言在上文中, 我们介绍了线程池的基本构造与使用原理. 本章, 我们将介绍下线程池的上一层的包装Executor.正文为了应对不同的场景, Java设计者设计出不同的线程池ThreadPoolExecutorFixedThreadPool 固定大小线程池SingleThreadPool 单线程线程池CachedThreadPool 带缓存线程池(大小无界)Schedul...
2019-03-27 01:46:44
353
原创 JUC包(五) 线程池
前言在前面的篇章中.我们将解了线程/锁/多线程容器.本章我们将介绍一个用于管理线程的容器:线程池.正文线程池基本构造如下所示:基本使用步骤如下:步骤1: 核心线程池是否已满? 未满直接执行,满了放入等待队列BlockedQueue中.步骤2: 等待队列是否已满? 未满放入其中, 满了执行步骤3.步骤3: 线程池是否已满?未满放入其中, 满了执行步骤4.步骤4: 使用创建时指定的...
2019-03-27 01:29:09
335
原创 JUC包(四) 并发容器与框架
前言在经过前几章的AQS与CAS等原理的轰炸之后. 本章, 我们将了解下JUC包内常见的并发容器.对于各种的并发容器, 我们会各取一个进行细说.Map类型容器(CurrentHashMap)Queue类型容器(ConcurrentLinkedQueue)阻塞队列类型容器(BlockedLinkedQueue)正文在叙述之前, 我们先列举下JUC包内提供给的常见容器.List...
2019-03-27 00:37:58
438
原创 JUC包(三) 锁与锁实现(AQS)
前言在原 JUC包 (一) 原子类 与 CAS操作中我们主要了解了什么是原子操作,以及原子操作的实现CAS(Compare ans Swap)操作. 本章,我们继续接着介绍使用CAS原理实现的锁操作. 锁在JUC包中使用非常广泛, 其取代了传统的synchronized关键字被广泛使用. 下文中,我们将一起了解锁的实现原理与基本使用场景.队列同步器(AQS)AQS,是(Abstract ...
2019-03-26 20:24:29
491
原创 Hadoop安装(YARN 集群)
前言在前面的章节中, 我们介绍了Hadoop 安装(单结点). 本章中,我们介绍下Hadoop的集群安装模式.前置条件三台VMware虚拟机, 分别为:192.168.31.60192.168.31.61192.168.31.62其主机名称分别为: sean60/sean61/sean62(配置本机的/etc/hosts与/etc/hostname即可.)三台机器上都已经安...
2019-03-26 00:35:43
334
原创 Hadoop 安装(单结点)
前言Hadoop的部署与安装是Hadoop研究过程中必定不可缺少的一环. Hadoop部署方式分三种，Standalone mode、Pseudo-Distributed mode、Cluster mode，其中前两种都是在单机部署。本章主要讲述如何在Standalone mode与Pseudo-Distributed mode的部署方式.Hadoop的基本主件主要包括:HDFS (Nam...
2019-03-25 11:15:20
466
1
原创 ZooKeeper 使用场景之 负载均衡
前言上章,我们简单了解了下ZooKeeper内的成员变量及调度服务.本章主要讲解下ZooKeeper的负载均衡.正文假设我们有3台服务器用于负载.那么有一台Client,其该怎么链接哪台机器呢?当其链接的主机宕机后该链接哪台服务器呢?我们可以使用Nginx或KeepAlive或者心跳机制.而使用今天的主角ZooKeeper,其也可以实现.原始架构:新架构:服务器结点: 可以在Z...
2019-03-23 22:46:45
675
原创 ZooKeeper 基本架构 与常见运用
前言在前面的章节ZooKeeper 基本操作 与 Java APIs我们介绍了.ZooKeeper的基本使用.本章中,我们将讲解下ZooKeeper的基本架构与常见的运用.基本架构使用场景基本架构在讲述基本架构之前, 我们先问一个问题: 什么是ZooKeeper?ZooKeeper是一个分布式的协调服务.用官方的话是ZooKeeper is a centralized serv...
2019-03-23 22:29:19
286
原创 ZooKeeper 基本操作 与 Java APIs
前言在前章ZooKeeper安装(集群化)我们安装ZooKeeper集群. 本章, 我们讲解下ZooKeeper的基本操作.命令行操作我们通常使用zkCli.sh脚本进行登陆.登陆命令:./zkCli.sh --server 192.168.31.60:2181其后,基本操作主要有如下几种:help命令显示客户所支持的所有命令，如：[zk: 192.168.31.60:2181...
2019-03-23 21:58:47
508
原创 Java核心基础(总章)
前言最近又看了一遍Java基础.顺便将之前博客内的内容都汇总一下.正文Java基础相关的博文主要包括如下内容:[1]. JAVA核心解析：JDK和JRE[2]. Java基础（二） 注释和基本数据类型[3]. Java基础（三） Java变量、操作符及判断和循环语句[4]. Java基础（三） Java变量、操作符及判断和循环语句之(二)[5]. Java基础（三）Java循环语...
2019-03-23 15:56:23
425
原创 ZooKeeper安装(集群化)
前言重新安装了下ZooKeeper,仍然遇到了一些问题.将操作流程记录如下.基本操作前提条件: JDK.基本机器:192.168.31.60192.168.31.61192.168.31.62对于ZooKeeper而言, Master与Follower结点是通过选举选举出来的.所以集群的各个结点的配置基本一致.(除了myid文件)通过集群脚本,创建安装目录. 分发安装...
2019-03-23 12:40:48
397
原创 Linux 集群脚本基础
前言在最近安装虚拟机集群的时候,随意写了下虚拟机集群的脚本.基础知识分割字符串shell 使用指定的分割符来分割字符串#!/bin/bashstring="hello,shell,haha" array=(${string//,/ }) for var in ${array[@]}do echo $vardone =~正则匹配字符串shell scrip...
2019-03-23 11:35:03
272
原创 VMware虚拟机 网桥模式详细配置(及计算机网络基本知识 IP/子网掩码/网关/DNS)
前言在昨日配置虚拟机的时候,虚拟机内部无法访问百度等网站进行资源下载.查明看了很多资料之后,发现是因为网关配置错误了.(真是有点蛋疼.)于是将网桥模式的配置过程详细配置如下.基本操作点击编辑下的网络配置,恢复默认设置.选择桥接模式,选择需要的网卡.(注意 无线网选无限网卡 / 有线选有线网卡.)观察本地网卡的IP设置,在虚拟机内拷贝这个设置.(虚拟机不要使用默认的DHCP模式)...
2019-03-23 11:17:11
4470
原创 Java 多线程技巧
总结本章主要记录.Java多线程分析和使用过程中的一些技巧.后续的内容也会陆续补充在此处.正文如何Dump文件?使用jstack -l <pid> >> filename. 例如: jstack -l 20866 > hello.log参考如何分析Thread Dump（收集）Dump文件JAVA dump查看线程运行情况2019-03-2...
2019-03-23 10:21:32
476
原创 HashMap 线程安全问题
前言我们紧接着上节ArrayList 线程安全问题讲下HashMap的线程安全问题.之前看书,书中经常会提及.HashTable是线程安全的,HashMap是线程非安全的.在多线程的情况下, HashMap会出现死循环的情况.此外,还会推荐使用新的JUC类 ConcurrentHashMap.今天,我们就将这些幺蛾子一网打尽. 本章, 将主要描述"为什么HashMap是非线程安全的? Has...
2019-03-21 21:55:33
20537
5
原创 ArrayList 线程安全问题
前言在观看多线程书籍的时候,经常会看到大家提及ArrayList与HashMap时候.皆会说明, ArrayList与HashMap类型都不是线程安全的. 那么,在传统的集合包内的集合类到底为什么线程非安全呢?在新的JUC包类又有什么可以替代呢? 让我们开始今天的部分.本章主要包括如下几个部分:为什么ArrayList是线程非安全的?替代措施(Vector类 / Colletions封装...
2019-03-21 17:33:39
29458
2
原创 JUC包 (二) CountDownLatch、CyclicBarrier、Semaphore 工具类
前言在Java 多线程(三) 线程通信内我们介绍了可以使用join()方法来控制某个线程在一众线程后执行. 正这一节中,我们将介绍三种工具类,同样实现这一目标. 三种工具使用场景各部相同.本章主要分为如下几个部分:CountDownLatch类CycleBarrier类Semaphore类正文join()方法实现在前文中,我们提及.使用join()方法可以非常容易的实现这部分...
2019-03-20 02:28:21
499
原创 JUC包 (一) 原子类 与 CAS操作
前言在前四个模块中,我们主要介绍了Thread类、synchronized与volatile关键字、线程通信、ReentrantLock锁. 本节我们将介绍Java中的原子操作.本章主要包括如下几个部分:原子更新基本类型原子更新数组原子更新引用类型原子更新字段类正文原子更新基本类型AtomicBooleanAtomicIntegerAtomicLong// Int...
2019-03-20 01:48:14
530
原创 Java 多线程(四) 锁与锁机制
前言在Java 多线程(二) Synchronized与Volatile关键字内我们介绍了synchronized关键字,以及与锁之间的关系.在本章中,我们将继续介绍这部分的内容同时,我们可以解决在Java 多线程(三) 线程通信中提及的,无法唤醒某个特定线程的问题.(Condition类进行解决) 此外我们还将介绍读锁与写锁,以及它们的优势.本章的主要内容如下所示:ReentrantL...
2019-03-20 00:59:17
1261
原创 Java 多线程(三) 线程通信
前言在前一章我们介绍了线程中较为重要的几个关键字synchronized与volatile.synchronized关键字主要是用于标示线程的同步关系与锁.volatile主要是用于将线程内的局部变量与进程总变量之间的交互关系.本文我们将介绍下线程之间的相互通信.本章主要包括如下的几个部分的内容:wait()方法与notify()方法join()方法经典的生产者&消费者实现T...
2019-03-19 16:31:51
415
原创 Java 多线程(二) Synchronized与Volatile关键字
前言在上章中,我们介绍了Java Thread API.本章我们介绍下Java中的Synchronized与Volatile关键字.在本章中,我们将介绍如下的几个模块:Synchronized关键字线程安全问题synchronized 关键字的使用对象锁与类锁Synchronized关键字修饰final类型的变量 & 静态变量Volatile关键字Volatil...
2019-03-19 01:46:03
574
原创 [Java基础] 如何保留两位小数
前言前段时间在处理float类型的数据的时候,发现在float/double类型的数据输出时,总会遇到这样的问题.例如: 1.000000000005.问题: 1. 位数过多,看起来比较难受; 2. 最后的尾数有偏移.解决办法: 将尾数四舍五入;将位数进行截断.正文如何保留2位小数字?使用BigDecimal的setScale()方法;使用System.out.println...
2019-03-18 11:38:03
4192
原创 Java 多线程(一) Thread API 基础
前言Java自开发之初就具有多线程多特性,其于JDK1.5又增添了java.util.concurrent内增添了非常多的多线程组件.于本章之中,我们优先总结下在Java初期,我们经常使用的Java API. 其中,虽然stop()等方法已经废弃,我们仍然将其提出,并且提出其优/缺点.Java中主要的API有如下几部分内容:线程的创建 - Thread 类 与 Runnable接口线程的...
2019-03-18 01:37:15
475
原创 局域网内的服务器搭建(VMware)
前言在实践大数据过程中,苦于没有集群的环境,今天准备仔细搞一搞.本章主要记录下本次操作的具体步骤.安装VMware Workstation安装虚拟机配置虚拟机网络和网络类型安装VMware Workstation在Windows操作系统上安装.虚拟机操作系统.下载地址: http://www.ddooo.com/softdown/25526.htm注册号: 1F04Z-6D1...
2019-03-17 23:22:48
2942
原创 Maven 总章
前言Maven是一个用于包管理、发布部署的一个工具. 相同的类型的工具还有Ant,Gradle.本教程内所涉及的资源都可以在此项目内找到:https://github.com/SeanYanxml/maven-trainPS: 记得我解除的第一个任务就是打包,曾经对于发现Jar In Jar的方式研究了一整个晚上. 正是基于Maven的理解,之后,项目内部署包以及后面的脚本都是交与我来完成....
2019-03-13 19:36:54
245
原创 Maven 打包实战
前言上一章,我们介绍了Maven内的常见插件.Maven的主要作用是用于包的管理和依赖.其次,根据Maven的生命周期可以知道, 它还可以作为一个运维和打包、部署的工具而存在.本章我们将详细的介绍Maven打包以及打包的各种情况.PS: 本文所用的Maven例子可以在我的Github仓库内找到https://github.com/SeanYanxml/maven-trainJar包所...
2019-03-13 19:14:04
1681
原创 Maven 常见插件
前言上章我们了解了Maven的基础命令和生命周期. 本章我们详细的聊聊插件,为后面的打包做基础.插件所有的插件配置都是写在pom.xml文件的<build>目录之间的.我们常见的Maven插件如下所示:maven-compiler-pluginJDK版本和编码<plugin> <artifactId>maven-compiler-plugin...
2019-03-13 13:47:13
435
原创 Maven 基础命令与生命周期
前言前面几章,我们介绍了Maven的安装和使用方法.本章开始,我们介绍下,如何使用Maven来完成我们需要的打包操作.基本命令本章我们继续使用maven-train-parent-util项目进行演示.Maven基本的操作命令主要有:mvn clean清除依赖的Jar包,重新装载mvn package使用Maven进行打包mvn install将该项目部署到本地仓库内mvn ...
2019-03-12 20:47:38
293
JMeterPlugins-Standard-1.4.0-.zip
2020-07-08
hexo-melody-application-config.zip
2019-11-22
Maven打包实战.zip
2019-09-18
Eclipse-Scala-IDE-Oxygen.zip
2019-04-13
m2e-scala.zip
2019-04-13
VMware网络划分与配置
2019-03-23
(转载)C# 解析百度天气数据,Rss解析百度新闻以及根据IP获取所在城市
2015-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人