- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Java中XML的四种解析方式
XML解析简介XML是一种通用的数据交换格式，它的平台无关性、语言无关性、系统无关性、给数据集成与交互带来了极大的方便。XML在不同的语言环境中解析方式都是一样的，只不过实现的语法不同而已。XML的解析方式分为四种：1、DOM解析；2、SAX解析；3、JDOM解析；4、DOM4J解析。其中前两种属于基础方法，是官方提供的平台无关的解析方式；后两种属于扩展方法，它们是在基础的方法上扩展出来的，只适用于java平台。针对以下XML文件，会对四种方式进行详细描述：<?xml version="1.0
2020-10-26 09:56:12
322
转载 Java NIO（Channel、Buffer、Selector）总结
Java IO系列Java IO 基础Java IO 高级Java NIOJava NIOJava IO系列0. 概述1.Java NIO2.ChannelChannel到Channel的数据传输transferFrom()transferTo()3.BufferBuffer的基本使用Buffer的 capacity, position 和limitBuffer常用方法1.申请一个Buffer2.写入数据到buffer中3.flip()写切换到读4.从buffer中读取数据5.倒回rewind(
2020-10-23 10:20:03
758
原创 Java IO 高级特性总结
Java IO系列Java IO 基础Java IO 高级Java NIOJava IO 高级Java IO系列序列化与反序列化定义java API实例serialVersionUID的作用Properties类读取定义Java API实例序列化与反序列化定义把对象转换为字节序列的过程称为对象的序列化。把字节序列恢复为对象的过程称为对象的反序列化。对象与字节序列（流）之间的相互转换流通，就构成了Java 的序列化与反序列化。对象的序列化主要有两种用途：1. 把对象的字节序列永久地保存到
2020-10-22 09:41:27
793
原创 Java 正则表达式详解
正则表达式乍一看上去是一堆繁琐的、无规律的、令人头大的字符串，但是其简单易学，适用于各种语言；当你了解他之后，你就会知道它的强大。很多程序设计语言都支持用正则表达式来进行字符串的操作。正则表达式简介初识正则表达式正则表达式是使用单个字符串来描述、匹配一系列规则的字符串。正则表达式并不仅限于某一种语言（几乎所有的语言都有字符串），在每种语言中有细微的差别。一个正则表达式字符串：^p[a-zA-Z_].+@.+\\..+$ 正则表达式应用还是很多的，总结的来说，包括匹配、分割、替换、截取这四大作用
2020-10-20 10:54:56
703
原创 Spark GraphX中的pregel 函数（步骤图解）
spark 系列Spark 核心原理及运行架构Spark RDD详解Spark 常用算子大全Spark SQL 详解Spark GraphX 图计算入门基础Spark PageRank 算法Spark GraphX中的pregel APISpark GraphX pregelspark 系列前言pregel API概述源码参数分析案例案例一：求最短距离案例二：求出图中最小值前言在上一篇博客已经为大家介绍了Spark GraphX图计算中的PageRank 算法。本篇博客将为大
2020-10-15 10:26:43
3097
2
原创 PageRank 算法（从原理到实现）
spark 系列Spark 核心原理及运行架构Spark RDD详解Spark 常用算子大全Spark SQL 详解Spark GraphX 图计算入门基础Spark PageRank 算法——从原理到实现Spark PageRankspark 系列前言算法来源算法原理排名泄露排名下沉排名上升算法证明PR值计算方法幂迭代法特征值法代数法案例演示PageRank算法的优缺点前言在上一篇博客已经为大家介绍了Spark GraphX图计算的入门基础。本篇博客将为大家详细介绍了 Spa
2020-10-14 10:59:43
1351
原创 Spark GraphX图计算入门基础
spark 系列Spark 核心原理及运行架构Spark RDD详解Spark 常用算子大全Spark SQL 详解Spark GraphX 图计算入门基础Spark GraphX图计算入门基础spark 系列前言Spark GraphX 简介GraphX应用背景GraphX 核心APIGraphX 特点Spark GraphX 实现原理两种视图存储模式计算模式GraphX实例前言前面几篇博客已经为大家介绍了 Spark 的基础框架、RDD、核心 SparkCore 和 Spark
2020-10-13 19:54:17
1529
2
原创 Spark SQL详解
spark 系列Spark 核心原理及运行架构Spark RDD详解Spark 常用算子大全Spark SQL 详解Spark SQLspark 系列前言Spark SQL 简介什么是Spark SQL?Spark SQL 的由来Spark SQL 的特点Spark SQL 框架结构Spark SQL的核心 Catalyst优化器（了解）Spark SQL 常用APISparkContext 与 SparkSessionDataFrame 与 DataSetDataFrameDataSet参
2020-10-10 16:38:17
1921
原创 Java IO基础详解
Java IO系列Java IO基础Java IO高级Java NIOJava IO基础Java IO系列写在前面IO 初识什么是流？流的三大特性目录和文件操作流的分类输入流与输出流节点流和处理流字节流与字符流IO流方法实例演示FileInputStream、FileOutputStream（字节流）InputStreamReader、OutputStreamWriter（字符流）FileWriter、FileReader（字符流便捷类）BufferedInputStream、BufferedO
2020-10-02 17:20:42
1893
原创 Spark RDD详解
spark 系列Spark 核心原理及运行架构Spark RDD详解Spark 常用算子大全Spark RDDspark 系列前言RDD概述什么是 RDDRDD 的属性RDD的特点RDD编程RDD 创建方式RDD 算子操作RDD 函数传递RDD依赖关系RDD缓存前言看了前面的一篇 Spark 博客，相信大家对于 Spark 的基本概念、运行框架以及工作原理已经搞明白了。本篇博客将为大家详细介绍了 Spark 程序的核心，也就是弹性分布式数据集(RDD)。但到底什么是 RDD，它是做什
2020-09-29 15:30:12
1432
原创 spark 核心原理及运行架构
spark 系列spark 核心原理及运行架构spark 常用算子大全spark 核心原理及运行架构spark 系列前言Spark 简介Spark 发展史Spark是什么？Spark 生态及运行原理spark 生态圈Spark的主要特点Spark 与 Hadoop 对比的优势Spark使用情况常见问题spark运行架构spark基础运行架构图：Spark 运行流程spark 调优策略参考文章前言本篇博客将为大家带来 spark 核心原理和运行架构的介绍。这是 spark 系列的第一篇博客
2020-09-28 17:17:49
1393
1
原创 spark 常用算子大全（分类详细，图片解析）
scala 系列spark 常用算子大全scala 常用算子大全scala 系列前言思维导图前言上一篇博客已经给大家介绍了 scala OOP， 掌握了OOP 的知识后，就已经算是进入 scala 的门了。scala OOP基础是 spark 和 flink 的基础。本篇博客将为大家带来 scala 高级扩展的介绍。主要包括模式匹配和正则表达式，此外还有异常处理、注解和高级类型的简单了解。思维导图...
2020-09-25 12:10:09
6528
3
原创 scala 高级扩展详解（模式匹配和正则表达式）
scala 系列scala 入门基础scala 数组集合scala 143个数组函数大全scala 函数scala OOPscala 高级扩展scala 高级扩展scala 系列前言思维导图模式匹配简单模式匹配匹配类型守卫匹配样例类匹配集合变量声明正则匹配正则表达式匹配分割替换查找注解（Annotation）前言上一篇博客已经给大家介绍了 scala OOP， 掌握了OOP 的知识后，就已经算是进入 scala 的门了。scala OOP基础是 spark 和 flink 的基础。
2020-09-18 11:06:08
936
原创 scala OOP
scala 系列scala 入门基础scala 数组集合scala 143个数组函数大全scala 函数scala OOPscala OOPscala 系列前言思维导图类和对象创建类和对象访问修饰符构造器继承定义override 和 super类型判断前言上一篇博客已经给大家介绍了 scala 函数和方法， 有了 scala 函数和方法的基础再去学习 OOP，会变得无往而不利。本篇博客将为大家带来 scala OOP的介绍。scala OOP 和 java OOP有很多相似之处，
2020-09-17 19:57:53
742
原创 scala 函数详解（含思维导图）
scala 系列scala 入门基础scala 数组集合scala 143个数组函数大全scala 函数scala OOPscala 方法和函数scala 系列前言方法方法定义方法参数方法调用方式函数Java Lambda表达式Java8 四大内置函数式接口（了解）函数的定义参考文章前言前几篇博客已经给大家介绍了 scala 入门基础和数组集合的，相信大家都已经对 scala 有了更进一步的了解。本篇博客将为大家带来 scala 方法和函数的介绍。本篇博客将为大家带来 scala
2020-09-16 14:59:30
2334
原创 scala 数组集合（思维导图，初级必备）
scala 系列scala 入门基础scala 数组集合scala 143个数组函数大全scala 函数scala OOPscala 数组集合scala 系列前言方法方法定义方法参数方法调用方式数组Array不可变数组可变数组数组方法元组Tuple元组定义访问元组列表List不可变列表可变列表列表方法集Set不可变集可变集集方法映射Map不可变Map可变Map映射方法常用集合前言本篇博客为大家带来的是 scala 入门简介和编程基础，主要涉及scala 变量、分支和循环的基础知识，
2020-09-14 22:53:17
526
原创 scala 入门基础（思维导图，基础详细，小白必看）
scala 系列scala 入门基础scala 143个数组函数大全scala 入门基础scala 系列前言scala 简介scala 源自 Javascala 的优势scala 与 java 对比实例变量声明变量使用类型推断来定义变量使用类型别名定义变量惰性赋值字符串使用双引号使用插值表达式使用三引号数据类型Scala与Java有着相同的原始数据类型Scala数据类型层次结构运算符分支表达式循环for 循环while 循环 和 do -while 循环循环跳转语句方法方法定义方法参数方法调用方式
2020-09-14 18:00:17
1594
2
原创 两个小例子轻松搞懂 java 中递归与尾递归的优化
废话不多说，我们直接上两个最常见的小例子：一、递归，伪递归，迭代实现n!package com.njbdqn.test02;/** * 递归，伪递归，迭代实现n! */public class RecursionTest { public static void main(String[] args) { System.out.println(recurse(5)); //递归显示 System.out.println(camouflageRecurse
2020-09-13 21:37:07
406
原创 scala 数组函数大全（143个1个不漏，全面案例详解）
scala系列scala 143个数组函数大全scala 数组函数大全scala系列前言一、scala 数据简介二、数组函数汇总前言本篇博客为大家带来的是 scala 所有（没错，没有看错，就是所有）数组函数的案例详解大全。scala 数组函数是 scala 能够实现代码飘逸的核心基础所在，因此在 scala 入门的时候必须强记下来，没有任何商量的余地。相信大家在看完的数组函数汇总后，都能够代码敲的飘逸！“so easy”，赶紧搬好小板凳，带好西瓜，我们边看边吃瓜。说错了，是带着小本，边看边记下来申明： 本篇博客是站在先前大佬的肩膀上总结整理的，不足之处，请指点，谢谢！排序算法算法简介算法分类算法性能对照表相关概.
2020-09-05 11:33:17
9416
1
原创 HBase 工作机制及读写流程
HBase一图看懂 HBase 架构HBase 最常用的shell操作HBase 工作机制及读写流程HBase 工作机制及读写流程HBase前言HBase 工作机制Master工作机制Master 上线Master下线RegionServer 工作机制Region 管理region server上线region server下线HBase 读写流程HBase 读流程HBase 写流程flush 机制Compact合并操作Region Split操作前言本篇博客，为大家梳理 HBase 工
2020-09-04 15:36:33
659
原创 一图看懂 HBase 架构（全面详细）
HBase一图看懂 HBase 架构HBase 最常用的shell操作HBase 架构HBase前言HBase 简介什么是HBaseHBase 特点NoSQL与RDBMS对比HBase生态圈技术HBase 架构组件前言本篇博客，为大家梳理 HBase 的组件架构和底层原理。希望能对 HBase 感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方，望指明，一起探讨，学习，进步。HBase 简介什么是HBaseHBase是 Google 的 Bigtable
2020-09-03 19:49:29
6445
1
原创 HBase 最常用的shell操作（基础详细，小白必看）
系列文章目录一图看懂 HBase 架构HBase 最常用的shell操作HBase 最常用的shell操作系列文章目录前言基础命令操作高级管理操作总结前言本篇博客，为大家梳理 HBase 最常用的 shell 操作。需要的小伙伴们可以自行其食！基础命令操作高级管理操作代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimp
2020-09-01 23:11:48
9987
原创 Hadoop系列（四）—— 人民法官 Zookeeper 详解
ZooKeeper是Google的Chubby提供的一个开源的、分布式的框架，它是Hadoop集群的管理者，同时提供一致性协调服务，就像“人民法官”一样监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终实现将简单易用的接口和性能高效、功能稳定的系统提供给用户的功能。Zookeeper主要负责存储和管理大家都关心的数据，一旦这些数据的状态发生变化，Zookeeper就会通知那些注册在Zookeeper上的服务。简单来讲就是**zookeeper=文件系统+通知机制**。Zookeeper
2020-09-01 08:39:19
3633
原创 Hive系列（一）—— Hive初识及基础介绍
Hive 基础Hive 简介什么是 Hive为什么使用 HiveHive 特点Hive 体系结构Hive 和 RDBMS 的对比Hive 基础Hive 数据类型Hive 简介什么是 HiveHive 是由 Facebook 实现并开源的、基于 Hadoop 的一个数据仓库工具。它可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能；其底层数据是存储在 HDFS 上，Hive的本质是将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方
2020-08-29 12:06:00
735
原创 Hive系列（三）—— 性能优化及数据倾斜
在Hive使用中，数据倾斜以及解决方案，是老生常谈的问题，一直没有时间去全面的了解；最近花了一段时间，总结了hive性能优化，尤其是数据倾斜的优化如下。希望能对Hive感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方，望指明，一起探讨，学习，进步。
2020-08-28 16:42:25
9494
1
原创 Hive系列（二）—— 常用函数汇总
Hive 函数比较多，之前总是随用随查，今天把常用的函数总结一下，以后方便查阅。前言Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。如图所示：Hive常用函数数学函数集合函数类型转换函数日期函数条件函数字符函数聚合函数表生成函数数学函数round()#返回对a四舍五入的bigint值SELECT round(1.5) # 输出 2SELECT round(-1.5)
2020-08-27 23:30:24
783
原创 Hadoop系列（三）——心脏命脉 MapReduce 详解
最近花了一段时间去了解MapReduce 的工作原理：Map对数据集上的独立元素进行指定的操作，生成键值对形式中间结果；shuffle是MapReduce的心脏，对中间结果进行数据整合分区排序处理，有助于编写效率更高的mapreduce程序和hadoop调优；Reduce则对中间结果中相同“键”的所有“值”进行规约，以得到最终结果。自己画了一张流程图如下图，希望能对MapReduce感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方，望指明，一起探讨，学习，进步。MapReduc
2020-08-24 09:12:59
12395
2
原创 Hadoop系列（一）——身体是革命的本钱 HDFS体系结构（NameNode、DataNode）详解
hadoop文件读取实例中yarn的作用是什么样的？要想理解hadoop文件读取的过程，除了理解YARN还需要提前了解一下hadoop 中NameNode和DataNode的原理和功能。NameNodeNameNode在内存中保存着整个文件系统(hdfs)的名字空间(namespace）和文件数据块的地址映射(Blockmap)。整个HDFS可存储的文件数受限于NameNode的内存大小。它的功能如下：NameNode负责文件元数据信息的操作以及处理客户端的请求NameNode管理HDFS文件
2020-08-21 15:25:47
7746
原创 Hadoop系列（二）——灵魂管理者 YARN 详解
集群资源管理器 YARNYARN 简介YARN 的组件架构ResourceManagerYARN 简介YARN（Yet Another Resource Negotiator）是一个通用的资源管理平台，可为各类计算框架提供资源的管理和调度。YARN通过其内部的一个全局资源管理器（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM）；为每个应用程序分配一个作业（Job）或者Job的有向无环图（DAG），来达到分离资源管理与作业调度/监控的
2020-08-21 00:05:30
15765
1
原创 Hadoop集群的DataNode启动不了的解决办法
关于Hadoop集群的DataNode启动不了的问题是安装Hadoop最常见的坑，下面我介绍五种方法来填坑。异常提示hadoop集群子节点目录下 jps 操作没有显示datanode的进程http://master-ip: 8088窗口下：java操作hadoop异常提示：Java.io.IOException: Cannot lock storage /usr/hadoop/tmp/dfs/name. The directory is already locked.出现上述3者情况之一，都
2020-08-18 22:41:10
3453
2
原创 深度剖析Elasticsearch核心倒排索引数据结构
Elasticsearch 简介Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。Elasticsearch 建立在全文搜索引擎 Apache Lucene™ 基础上，通过 Lucene 的倒排索引技术实现比关系型数据库更快的过滤，从而很方便的使大量数据具有搜索、分析和探索的能力。毫无疑问，Elasticsearch的底层核心是倒排索引。 Elasticsearch通过扩展服务器集群的方式，将数据以文档的形式，FST压缩的方式，分布式实时存储；同时为文件每一个字段添加倒排索引
2020-08-16 20:12:14
2317
原创 linux基础（一）— linux基础知识
linux 概述什么是linux系统Linux是一套免费使用和自由传播的类UNIX操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。linux的优势所在安全性能高，并且开源操作方式主流为命令行模式，但也支持图形化界面+事件的模式（不常用）具有跨平台性能，对硬件要求相较其他操作系统低很多应用场景
2020-08-14 10:20:19
459
原创 linux基础（三）— linux系统安装mysql、jdk和tomcat教程及常见问题解决（linux内外网不通、mysql中文乱码、忘记密码）
安装教程mysql 安装教程安装教程常见问题及解决linux 内外网不畅通的解决办法mysql 忘记密码的解决办法mysql 中文乱码的解决办法jdk 安装教程tomcat 安装教程mysql 安装教程安装教程第一步、安装前准备，确认虚拟机内外网是否能够正常连接内网测试：dos窗口下测试ping 192.168.152.132C:\Users\lenovo>ping 192.168.152.132正在 Ping 192.168.152.132 具有 32 字节的数据:来自 192.
2020-08-09 10:03:20
836
原创 linux基础（二）— 史上最实用、最详细的linux常用基础命令
Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。...
2020-08-08 13:00:52
11357
原创 再谈java基础
java基础总结java概述java是什么JDK、JRE和JVM三者的关系一个java程序的执行过程java基础语法java概述java是什么java是一种面向对象的编程语言java语法具有简单易学，强类型机制，面向对象（封装、继承和多态），平台无关性（jvm跨平台），多线程并发，支持网络编程和安全健壮等特点。java是一种平台java虚拟机JVM实行跨平台，JVM一处执行，处处执行的特点是java编程语言的核心所在。不同的平台或者操作系统，只要安装了相应的虚拟机，或者说安装了不同的虚拟机，
2020-08-04 23:08:42
1193
原创 MyBatis，你真的了解了吗
这里写目录标题MyBatis简介MyBatis是什么？ORM是什么？为什么说Mybatis是半自动ORM映射框架？半自动体现在哪里？MyBatis的原理和常用配置MyBatis的解析和运行原理Mybatis的一级、二级缓存MyBatis的配置（IDEA）MyBatis 核心对象Mapper配置文件常用标签数据库增删改查标签动态SQL标签MyBatis注解传参MyBatis常见问题获取新增操作的主键值resultMap解决字段、类型不匹配的问题加载映射文件的方式有哪些？MyBatis的mapper接口与XXX
2020-08-01 17:46:54
1587
原创 jquery对象操作html标签大全
jquery对象操作html标签对象大全jQuery简介jQuery定义jQuery对象jquery对象获取基本选择器组合选择器form表单属性选择器伪类选择器jquery对象操作对象获取对象操作对象jquery对象操作标签样式类操作位置类操作文本操作文本操作jQuery简介jQuery定义jQuery是一个轻量级的、兼容多浏览器的JavaScript库。jQuery的核心特性可以总结为：具有独特的链式语法和短小清晰的多功能接口；具有高效灵活的css选择器，并且可对CSS选择器进行扩展；拥有便捷的插件
2020-07-30 23:20:06
1084
原创 MVC设计模式（jsp+servlet）
MVC就是模型(model)－视图(view)－控制器(control)三者的结合，是一种软件设计典范。它是用一种业务逻辑、数据与界面显示分离的方法来实现客户端浏览器请求，将众多的业务逻辑聚集到model层的biz中，将需要操作第三方数据库的具体操作封装在model的dao层；将个性化定制界面展示集中于view层，最后control层的servlet将model层的数据和view层的界面处理结合，带到客户端请求的浏览器界面去，实现客户端的需求。 MVC能够在需要改进和个性化定制界面及用户交互的同时，不需要重
2020-07-26 11:01:14
1620
原创 简述JDBC（BaseDao源码级）
一、 定义1. 什么是JDBC?jdbc是一种由一组用Java语言编写的标准类和标准接口组成，用于执行SQL语句的Java API。JDBC提供了面向多种关系型数据库连接的统一访问，同时统一规范了标准接口和工具，使数据库开发人员能够编写数据库应用程序，实现了所有这些面向标准的目标并且具有简单，严格类型定义且高性能实现的接口。2. 具体实现如下图，我们很明显的看出：java应用程序是不能直接访问关系型数据库的，必须要通过相应的数据库驱动程序，通过驱动程序去和数据库打交道。而所谓的数据库驱动，实际上是j
2020-07-14 22:29:59
911
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人