- 博客(93)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Java 8 Lambda表达式
概述Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。相关参考文章：Java8 函数式接口-Functional Interface1. 基本概念定义：Lambda 允许把函数作为一个方法的参数（函数作为参数传递进方法中）。使用 Lambda 表达式可以使代码变的更加简洁紧凑。特性：可选类型声明：不需要声明参数类型，编译器可以统一识别参数值。可选...
2020-03-18 23:17:47
330
原创 笔记本电脑（PC）序列号查询
笔记本电脑序列号查询的三种方式有以下几种方法可以确定笔记本计算机序列号：在笔记本计算机底部、电池托架上或者底盖下面的服务标签上查找序列号 (S/N)（请参见产品文档）：按笔记本计算机键盘上的fn + esc，打开“系统信息”。 序列号将显示在屏幕底部。通过 命令提示符 显示 S/N： a. 搜索命令提示符 (i) 在 Windows 7 中： 打开“开始”菜...
2020-02-24 11:17:33
11535
原创 CDH-Flume报错：org.apache.flume.Context.getSubPropertiesLcom/google/common/collect/ImmutableMap;
前言Mvn编译打包见Maven命令行编译Git源码 & flume-ng-sql-source源码编译打包问题使用CDH中的flume监听sql数据时，需要打一个 flume-ng-sql-souce.jar 的插件，将其编译打包后，运行flume任务会出现如下的报错：java.lang.NoSuchMethodError: org.apache.flume.Context....
2019-12-26 20:14:38
1504
2
原创 Maven命令行编译Git源码 & flume-ng-sql-source源码编译打包
文章目录概述过程概述本文描述使用Maven编译Git下载的源码在实现flume同步SQL数据到HDFS时，由于需要使用Git开源项目flume-ng-sql-source，而Git上面只有源码，因此需要自行编译。过程从Git开源项目flume-ng-sql-source上下载源码zip包解压此zip包:（unzip flume-ng-sql-source-develop.zi...
2019-12-26 12:10:43
710
1
原创 mvn package执行jar包名称
如下的fileName即可指定jar包名称: <build> <finalName>jar包名称</finalName> <plugins> <plugin> <groupId>org.spark.hadoop</groupId> <artifactId>*****<...
2019-12-26 12:07:39
493
转载 ubuntu 手动释放内存&crontab定时释放
其中/proc/sys/vm/drop_caches中的值有4个，分别为0-3：0 – 不释放1 – 释放页缓存2 – 释放dentries和inodes3 – 释放所有缓存sudo sh -c “echo 1 > /proc/sys/vm/drop_caches” # 释放页缓存sudo sh -c “echo 2 > /proc/sys/vm/drop_cache...
2019-12-26 09:34:39
673
原创 第十一章 并发控制
文章目录概述11.1 并发控制概述11.1.1 丢失修改11.1.2 不可重复读11.1.3 读“脏”数据11.2 封锁11.2.1 封锁定义11.2.2 基本封锁类型11.2.3 封锁协议11.2.4 活锁和死锁11.2.4.1 活锁11.2.4.2 死锁11.2.4.3 死锁的诊断与解除11.3 并发调度的可串行性11.3.1 可串行化调度11.3.2 冲突可串行化调度 概...
2019-12-25 14:19:58
739
原创 Hive版本兼容问题：java.sql.SQLException: Method not supported
问题描述SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/yeluo/.m2/repository/org/slf4j/slf4j-log4j12/1.7.16/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLogg...
2019-12-24 20:14:52
7034
2
原创 第六章 关系数据理论（上）数据依赖+码+范式
文章目录6.1 为什么学习关系数据理论6.1.1 问题提出6.1 为什么学习关系数据理论6.1.1 问题提出关系数据库的基本概念关系模型关系数据库的标准语言关系数据库逻辑设计：针对一个具体问题,应如何构造一个适合于它的数据模式,即应该构造几个关系,每个关系由哪些属性组成等。那么，什么是一个好的数据库逻辑设计？...
2019-12-24 20:13:23
3187
原创 第十章 数据库恢复技术
文章目录10.1 事务的基本概念10.1.1 事务的定义10.1.1.1 事务定义方式10.1.2 事务的ACID特性10.1.3 破坏事务ACID特性的因素10.2 数据库恢复10.2.1 数据库恢复概述10.2.2 故障的种类10.2.2.1 事务内部的故障 10.1 事务的基本概念 10.1.1 事务的定义定义：事务(Transaction)是用户定义的一...
2019-12-24 20:08:51
587
原创 hive报错：Required field 'client_protocol' is unset!
问题描述在使用客户端连接Hive时，发现无法连接上上hiveserver2报错信息如下：SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/yeluo/.m2/repository/org/slf4j/slf4j-log4j12/1.7.16/slf4j-log...
2019-12-10 00:39:01
1268
原创 Spark性能调优 之 合理规划资源配置
文章目录1. 合理规划资源配置1.1 简介1.1.1 资源配置调优原理1.2 资源配置说明1.2.1 资源配置种类1.2.2 资源配置方式1.2.3 调优原则2. 调节并行度2.1 简介2.1.1 并行度简介2.1.2 并行度调优原理2.2 并行度调节说明2.2.1 并行度调节方式2.2.2 并行度调节原则3. 重构RDD架构与RDD持久化3.1 说明1. 合理规划资源配置1.1 简介性...
2019-12-10 00:20:47
858
1
转载 Maven更新卡住：解决Maven无法下载相关依赖
问题记录方法一在Eclipse下用Maven创建项目并构建相关的Maven依赖是意见非常方便的事情，配置好pom.xml文件中的dependency，update project的时候如果出现无法下载相关依赖。那么可以在pom.xml文件里面配置相关中央仓库。 <repositories> <repository> <...
2019-12-09 23:50:26
1879
原创 Zookeeper启动报错：The current epoch, 5, is older than the last zxid, 30064771074
概述解决Zookeeper启动报错The current epoch, 5, is older than the last zxid, 30064771074 问题描述在CDH启动Zookeeper时遇到如下问题：Reading snapshot /usr/local/zk/data/version-2/snapshot.8000000032019-12-09 23:16:...
2019-12-07 00:57:10
1776
原创 ZooKeeper报错：Unable to access datadir, exiting abnormally
概述解决Zookeeper报错问题描述2019-12-09 23:18:41,425 INFO org.apache.zookeeper.server.quorum.QuorumPeerConfig: Reading configuration from: /var/run/cloudera-scm-agent/process/604-zookeeper-server/zoo.cfg2...
2019-12-07 00:49:34
9874
1
原创 解决虚拟机Ubuntu18.04系统初始内存占用过高（Ubuntu 18.04开机进入命令行及还原）
文章目录概述1. 普通设置2. 核心设置--进入命令行模式2.1 设置开机进入命令行模式2.2 还原到图形界面模式2.3 ubuntu命令行模式与图形桌面切换方法3. CDH相关特殊设置 概述在使用CDH时，搭建的环境为1实体机+2虚拟机的方式：实体机 : Master 172.20.10.100虚拟机1 : Slave1 172.20.10.10虚拟机2 : Slave...
2019-12-06 18:59:23
4602
原创 CDH报错解决：该主机与 Cloudera Manager Server 失去联系的时间过长。该主机未与 Host Monitor 建立联系。
说明下，qichu这里是由于集群资源有限，在最初配置如下：Master 172.20.10.100Slave1 172.20.10.10Slave2 172.20.10.20如上图所示，该主机与 Cloudera Manager Server 失去联系的时间过长。 该主机未与 Host Monitor 建立联系。要结局此问题，首先请确保以下的配置或设置正确：问题节点所在的机器已...
2019-12-06 18:57:28
9144
2
原创 软件性能测试工具LoadRunner12常见问题说明
文章目录概述概述最近再学习软件测试中的性能测试，二已经9102年了，使用到的工具也已经是LoadRunner12+了，遇到的一些使用上的问题，这里记录一下，以便日后再次碰到能够及时解决。这次在性能测试的过程中，遇到的问题如下：录制方式的选择--------HTML-Based/URL-Based浏览器兼容问题IE/Chrome/Firefox浏览器卡死崩溃问题IE录制脚本为空问题...
2019-12-02 11:44:20
2029
4
原创 windws10下Loadrunner12的使用教程详解
文章目录概述1. LoadRunner介绍1.1 基本介绍1.2 基本组件1.3 菜单及快捷键2. 录制与回放概述本文介绍Win10下性能测试工具LoadRunner的使用。1. LoadRunner介绍1.1 基本介绍从LoadRunner英语字面上进行理解就是负载跑步者，为什么这么说呢？对于从事IT软件行业的工作者如开发人员和测试人员来说一定不会感到陌生就是在承受负载的条件下运行软...
2019-12-02 11:43:37
2553
原创 算法的时间复杂度和空间复杂度
算法分析：第一 是从数学上证明算法的正确性，这一步主要用到形式化证明的方法及相关推理模式，如循环不变式、数学归纳法等。而在证明算法是正确的基础上，第二 就是分析算法的时间复杂度。算法的时间复杂度反映了程序执行时间随输入规模增长而增长的量级，在很大程度上能很好反映出算法的优劣与否。算法执行时间需通过依据该算法编制的程序在计算机上运行时所消耗的时间来度量。而度量一个程序的执行时间通常有两种方法:...
2019-11-02 18:47:00
218
转载 Java集合：ConcurrentHashMap详解
参考Java集合：ConcurrentHashMap详解 注意。这里介绍的是JDK1.6 ConcurrentHashMap的锁分段技术 HashTable容器在竞争激烈的并发环境下表现出效率低下的原因，是因为所有访问HashTable的线程必须竞争同一把锁。 如果容器里有多把锁，每一把锁用于锁容器的其中一部分数据，那么当多线程访问容器里不同数据段的数据时，线程间就...
2019-11-02 15:20:40
153
原创 Java集合：LinkedList详解
说明本文主要参考自以下文章，包含内容的转载，在此表示感谢：Java集合：LinkedList详解java集合之LinkedList详解文章目录说明概述1. LinkedList相关概念2. LinkedList相关源码解析2.1 LinkedList的实现概述介绍数据结构–LinkedList的相关概念及操作。1. LinkedList相关概念LinkedList底层为双链表...
2019-11-02 14:52:59
593
1
转载 Java集合：ArrayList详解
说明本文主要参考自以下文章，包含内容的转载，在此先表示感谢：深入学习java8集合（一）：ArrayList的实现原理Java集合：ArrayList详解 文章目录说明概述1. ArrayList相关概念1.1 基本概念1.2 容量2. ArrayList相关源码解析2.1 ArrayList的实现2.1.1 基础属性2.1.2 构造方法2.2 get()2.3 set()2....
2019-10-30 11:50:28
465
原创 Spark内存管理概述
文章目录概述概述Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中占据着非常重要的角色。理解Spark内存管理的基本原理，有助于更好地开发Spark应用程序和进行性能调优。本系列文章，旨在梳理出Spark内存管理的脉络本文中的原理基于Spark 2.4.+版本。阅读本文需要读者有一定的Spark和Java基础，了解RDD、Shuffle、JVM等相关概念。...
2019-10-29 15:45:04
197
原创 JAVA常见问题集合
文章目录概述问题列表1. Java中&和&&的区别概述介绍java中常见易混淆的问题问题列表1. Java中&和&&的区别这两者都是表示逻辑与，只有当两边都是true时，返回true，只要有一个false则结果返回false。&&还具有短路的功能，即如果第一个表达式为 false，则不再计算第二个表达式，例如，对于...
2019-10-29 15:44:19
164
原创 Java基础之HashCode
文章目录概述1. HashCode概念1.1 HashCode定义1.2 HashCode约定1.3 常见的HashCode的生成算法2. Hash函数 (散列函数)2.1 定义2.2 特点2.3 优点2.4 常用的Hash函数其他附录概述介绍Java中的HashCode相关概念及其生成方法。1. HashCode概念1.1 HashCode定义hashCode是jdk根据对象的地址或...
2019-10-29 15:42:41
884
原创 Java基础----JVM详解
文章目录概述前言1. JVM基础概念1.1 JVM定义1.2 JVM 主要组成部分及其作用1.2.1 JVM运行时数据区1.3 JVM作用2. 类加载器2.1 类加载器分类2.2 类加载的执行过程2.3 双亲委派模型3. JVM 垃圾回收机制(GC)3.1 确定垃圾回收的对象3.1.1 引用计数法3.1.2 可达性分析法3.1.3 四种引用状态3.1.4 两次标记阶段3.2 JVM垃圾回收算法3....
2019-10-29 15:41:37
4217
2
原创 数据结构-树的简介
文章目录概要1. 树的基本概念1.1 树的定义1.2 树的特点1.3 树中术语2. 树的类型3. 树的表示3.1 图像表示法3.2 符号表示法3.3 遍历表示法致谢概要本文介绍数据结构中的树。1. 树的基本概念1.1 树的定义树状图是一种数据结构，它是由n（n>=1）个有限节点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。...
2019-10-29 15:34:05
471
原创 数据结构-二叉搜索树/二叉排序树/二叉查找树
文章目录二叉搜索树/二叉排序树/二叉查找树.1 定义.2 性质二叉搜索树创建二叉搜索树查找.1 查找步骤.2 查找性能分析二叉树插入与删除二叉搜索树/二叉排序树/二叉查找树.1 定义二叉排序树（Binary Sort Tree），又称二叉查找树（Binary Search Tree），亦称二叉搜索树。。设x为二叉查找树中的一个节点，x节点包含关键字key，节点x的key值记为key[x]。如...
2019-10-29 15:33:26
2273
原创 数据结构-平衡二叉树(AVL)
文章目录概述1. 平衡二叉树概要1.1 平衡二叉树由来1.2 AVL 名字由来1.3 AVL 定义1.4 相关概念1.4.1 平衡因子1.4.2 最小不平衡子树2. AVL树的平衡调整2.1 AVL树的平衡调整示例2.2 平衡算法总结2.3 平衡调整总结2.3.1 实例2.4 两种示例2.4.0 实例2.4.1 结点中使用平衡因子2.4.2 节点中使用高度（较少）致谢概述介绍数据结构中的平衡二...
2019-10-29 15:28:31
362
原创 Firefox浏览器相关设置
文章目录概述界面配置1. 问题说明概述介绍firefox浏览器中的相关设置界面配置1. 问题说明如图，firefox浏览器在显示的时候，会在顶部显示很多的内容，但是当我们更熟悉之后，其实是不需要显示这么多内容的，因为有快捷键来帮助我们：这里，我们可以通过以下操作来进入配置页面并设置：点击下图最右边的按钮，然后点击定制...来进入配置界面在配置界面设置：效果都是实时显示的，这...
2019-10-29 15:21:37
178
原创 哈希表原理详解
文章目录概述1. 哈希表介绍哈希表由来1.1 哈希表定义哈希表造表过程哈希表查找过程总结应用场景概述介绍哈希表（散列表）相关原理。1. 哈希表介绍哈希表由来在哈希表出现之前，已经存在了两种数据结构–数组和链表，但是各有优缺点，适用场景也不同：类型优缺点数组寻址容易，插入和删除困难链表寻址困难，插入和删除容易那么我们能不能综合两者的特性，做出一种寻址容...
2019-10-29 15:19:59
2938
转载 HashMap源码解析 JDK 1.8
文章目录概要0. 前言0.1 影响HashMap性能的参数0.2 HashMap UML图0.3 HashMap数据存储结构（JDK 1.8）1. 源码解析说明1.1 基本属性1.2 hash() & (tab.length-1) : 确定Table索引值1.3 get() : 获取指定key对应的结点1.3.1 获取红黑树结点1.3.1.1 getTreeNode() : 获取红黑树结...
2019-10-29 15:10:24
239
转载 数据结构-红黑树
文章目录概述前言1. 红黑树的基本概念1.1 红黑树的由来1.2 红黑树的定义1.3 红黑树的性质1.4 红黑树示例红黑树自平衡的三种操作2. 红黑树查找3. 红黑树的插入3.1 查找结点插入位置3.2 插入结点3.2.1 插入情景1：红黑树为空树3.2.2 插入情景2：插入结点的Key已存在3.2.3 插入情景3：插入结点的父结点为黑结点3.2.4 插入情景4：插入结点的父结点为红结点4. 红黑...
2019-10-19 21:46:34
231
原创 Java基础----JDK，JRE和JVM之间的区别
文章目录概述1. 区别与联系2. 图示参考概述介绍JDK，JRE和JVM之间的区别。1. 区别与联系类别存在性说明作用组成JVM一个抽象机器它是一个提供可以执行Java字节码的运行时环境的规范加载代码验证代码执行代码提供运行时环境-JRE实际存在Java运行环境，是JVM的实现用于提供运行时环境包含一组库和JVM在运行时使用的其他文件J...
2019-10-05 16:26:32
152
原创 Spark 内存管理之StaticMemoryManager
文章目录概述前言1. 创建StaticMemoryManager1.1 StaticMemoryManager.getMaxStorageMemory()1.2 StaticMemoryManager.getMaxExecutionMemory()2. 实现内存操作方法2.1 acquireStorageMemory()2.2 acquireExecutionMemory()2.3 acquire...
2019-10-05 11:45:04
128
原创 Spark RDD运行原理
文章目录概述1. 涉及背景2. RDD概念2.1 RDD相关简介2.2 RDD典型执行过程3. RDD 特性4. RDD之间的依赖关系4.1 RDD依赖关系之Shuffle操作4.2 RDD依赖关系之宽依赖和窄依赖5.2 Stage划分策略5.3 Stage划分示例6. RDD运行过程概述本文主要介绍Saprk中重要的概念-----RDD1. 涉及背景许多迭代式算法（比如机器学习、图算法...
2019-10-04 22:59:33
901
原创 Spark 任务调度之Executor执行task并返回结果
文章目录概要1. 接收LaunchTask消息2. TaskRunner运行Task2.1 TaskRunner运行Task之deserialize task2.2 TaskRunner运行Task之run task2.3 TaskRunner运行Task之sendback result附录概要本篇博客是Spark 任务调度概述详细流程中的最后一部分，介绍Executor执行task并返回re...
2019-10-04 22:59:19
987
原创 Spark RDD之Partitioner
文章目录概要Partitioner作用Partitioner定义1. HashPartitioner2. RangePartitionerPartitioner使用自定义Partitioner调整Partitioner总结概要Spark RDD主要由Dependency、Partition、Partitioner组成，这篇介绍最后一部分Partitioner。Partition记录了数据sp...
2019-10-04 22:59:05
230
flume-ng-sql-source-1.5.3.jar
2019-12-26
DBMS课件.zip
2019-12-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人