自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

GOODDEEP

java、python 、网站、公众号、算法、搜索、爬虫、app,ios,android,微信:qqqkj520 ,QQ:122043580 。。。。...

原创 mysql 种隔离级别 以及每种级别对应的问题

mysql 4种隔离级别(1)未提交读(2)提交读(3)可重复读(4)串行化 (1)幻读:t1查询出两天记录,此时t2插入一条id=3的记录然后commit,t1此时插入id=3的记录 报主键错误,对与delete和insert。(2)不可重复读:t1查出id=1的记录name=a,此时t2...

2020-06-04 10:00:27 1 0

转载 布隆过滤器

布隆过滤器。选择多个哈希函数 对一个字符串xxx进行映射到数组的不同位置。如果这些位置下标都有值(不为空),则说明这个字符串在数组中存在的几率越大。 如果用这个几个哈希函数算出的位置 其中有一个为空,则一定能说明此字符串肯定不存在 什么是布隆过滤器 本质上布隆过滤器是一种数据结构,比较巧...

2020-06-04 10:00:13 12 0

原创 java锁的到底是锁的什么??

锁作用的对象 类代码块锁 对多个线程使用的多个此类A的代码加锁,即使多个线程多个对象也 会只有一个线程进入到此代码块,与对象个数,线程个数无关。 实现方式 (1)类代码块 synchronized(A.class){} (2)静态lock对象 static Lock lock=new R...

2020-06-04 10:00:00 3 0

转载 java 锁的类型

1. Java锁的种类   在笔者面试过程时,经常会被问到各种各样的锁,如乐观锁、读写锁等等,非常繁多,在此做一个总结。介绍的内容如下: 乐观锁/悲观锁 独享锁/共享锁 互斥锁/读写锁 可重入锁 公平锁/非公平锁 分段锁 偏向锁/轻量级锁/重量级锁 自旋锁   以上是一些锁的名词...

2020-06-04 09:59:37 12 0

转载 java 多线程 CountDownLatch、CyclicBarrier、Semaphore

 在java 1.5中,提供了一些非常有用的辅助类来帮助我们进行并发编程,比如CountDownLatch,CyclicBarrier和Semaphore,今天我们就来学习一下这三个辅助类的用法。   以下是本文目录大纲:   一.CountDownLatch用法   二.CyclicBar...

2020-06-04 09:59:26 12 0

转载 Java并发之AQS与自旋锁(利用CAS实现)

一、概述   谈到并发,不得不谈ReentrantLock;而谈到ReentrantLock,不得不谈AbstractQueuedSynchronizer(AQS)!   类如其名,抽象的队列式的同步器,AQS定义了一套多线程访问共享资源的同步器框架,许多同步类实现都依赖于它,如常用的Reen...

2020-06-04 09:59:08 3 0

原创 java Syntronized 原理与 为何锁升级及过程

关于锁升级 java1.6之前Syntronized 没有锁升级概念,只有重量锁:即用户态和内核态的上下文切换 会比较浪费时间。 java1.6之后,Syntronized关键字 开始有锁升级的概念,即偏向锁,轻量级锁,重量级锁。 注意CAS不是自旋锁,(CAS有3个操作数,内存值V,旧...

2020-06-04 09:57:17 23 0

原创 linux 文件系统与磁盘

总结 文件系统(1)磁道(2)扇区:一个磁道上分多个扇区,目前有 512bytes 和 4k 两种格式(3)分区:把多个扇区组合 做分区,每种分区类型下的分区表决定最大支持的磁盘容量,如MBR,GPT分区(4)文件系统:对每个分区格式化成不同的文件系统,如EXT2(5)inode /block/...

2020-06-03 15:14:24 10 0

原创 mysql数据库为什么使用B+树

首先要了解mysql的io过程 前面提到了访问磁盘,那么这里先简单介绍一下磁盘IO和预读,磁盘读取数据靠的是机械运动,每次读取数据花费的时间可以分为寻道时间、旋转延迟、传输时间三个部分,寻道时间指的是磁臂移动到指定磁道所需要的时间,主流磁盘一般在5ms以下;旋转延迟就是我们经常听说的磁盘转速,比...

2020-06-03 15:02:43 20 0

转载 tcp三次握手及四次挥手

一、TCP connection 客户端与服务器之间数据的发送和返回的过程当中需要创建一个叫TCP connection的东西; 由于TCP不存在连接的概念,只存在请求和响应,请求和响应都是数据包,它们之间都是经过由TCP创建的一个从客户端发起,服务器接收的类似连接的通道,这个连接可以一直保持...

2020-06-03 14:46:35 15 0

原创 二叉搜索树、平衡二叉树、B树、B+树、B*树

二叉查找树 二叉查找树,由于不平衡,如果连续插入的数据是有顺序的、会导致如下图B的所示,此时搜索会退化到O(N)   二叉查找树,也称二叉搜索树,或二叉排序树。其定义也比较简单,要么是一颗空树,要么就是具有如下性质的二叉树: (1)若任意节点的左子树不空,则左子树上所有结点的值均小于它的根结...

2020-06-03 14:40:05 25 0

转载 一致性哈希原理与应用

分布式系统中对象与节点的映射关系,传统方案是使用对象的哈希值,对节点个数取模,再映射到相应编号的节点,这种方案在节点个数变动时,绝大多数对象的映射关系会失效而需要迁移;而一致性哈希算法中,当节点个数变动时,映射关系失效的对象非常少,迁移成本也非常小。本文总结了一致性哈希的算法原理和Java实现,并...

2020-06-03 14:28:36 32 0

转载 Mysql的四个隔离级别 与mvcc(2)

一、Mysql的四个隔离级别 预备工作: 先创建一个test数据库及account表, create database test; use test; create table account( id int not null, balance float not null, PRIM...

2020-06-03 14:23:31 8 0

原创 mysql隔离级别与mvcc 关系的理解

MVCC(Mutil-Version Concurrency Control),就是多版本并发控制。MVCC 是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问。 主要通过以下两个方式组合 来实现隔离级别的 版本链:用于存储历史已经完成的事务版本。 readview:主要就...

2020-06-03 14:20:55 7 0

转载 Redis的五大数据类型的底层实现

1、简介 Redis的五大数据类型也称五大数据对象;前面介绍过6大数据结构,Redis并没有直接使用这些结构来实现键值对数据库,而是使用这些结构构建了一个对象系统redisObject;这个对象系统包含了五大数据对象,字符串对象(string)、列表对象(list)、哈希对象(hash)、集合(...

2020-06-03 14:08:49 7 0

原创 mysql索引底层实现

目前大部分数据库系统及文件系统都采用B-Tree(B树)或其变种B+Tree(B+树)作为索引结构。B+Tree是数据库系统实现索引的首选数据结构。在MySQL中,索引属于存储引擎级别的概念,不同存储引擎对索引的实现方式是不同的,本文主要讨论MyISAM和InnoDB两个存储引擎的索引实现方式。M...

2020-06-03 14:06:37 8 0

转载 Java分布式锁的几种实现

什么是锁? 在单进程的系统中,当存在多个线程可以同时改变某个变量(可变共享变量)时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量。 而同步的本质是通过锁来实现的。为了实现多个线程在一个时刻同一个代码块只能有一个线程可执行,那么需要在某个地方做个标记,这个标记必须...

2020-06-03 14:03:05 9 0

转载 知识图谱构建过程

在本文中,笔者主要想分享一下自底向上构建知识图谱的全过程,抛砖引玉,欢迎大家交流。 “The world is not made of strings , but is made of things.” ——辛格博士,from Google. 知识图谱,是结构化的语义知识库,用于迅速描述物理...

2020-05-07 13:38:16 493 0

原创 kylin 教程与原理

官方教程请参考:http://kylin.apache.org/cn/ 参考文章:https://www.cnblogs.com/honey01/p/8351145.html 总结: kylin是一个olap引擎 (1)首先kylin从先建立一个model(包括维度,度量,及join的方式...

2020-04-21 15:59:19 15 0

原创 Quartz动态定时器

QuartzManager import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Date; import java....

2020-04-21 15:57:48 20 0

原创 关于oracle 一个字段包含多种类型、分隔字符串,group by的问题

如果一个表中某个如datarule_types字段,包含多种类型,并且是用符号分隔的。若此时要统计每个类型的数量可以使用如下代码 SELECT t.DATARULE_TYPE, count(*) FROM (select id, regexp_substr(DATAR...

2020-04-21 15:57:05 64 0

原创 gradle缓存位置及拷贝jar到maven资源库

gradle构建工具是当下最流行的java项目构建工具,不仅仅是在android开发中用得很普遍,而且在javaee开发中也越来越普及。甚至其热度超过了maven构建工具。 gradle可以通过指定仓库地址为本地maven仓库地址和远程仓库地址相结合的方式,避免每次都会去远程仓库下载依赖库。这种...

2020-04-21 15:56:49 64 0

原创 gradle内网遇到的问题,依赖问题

一、eclipse离线安装gradle插件 把gradleclipse.zip的features、plugins拷贝到dropins下,包下载 链接: https://pan.baidu.com/s/1eKb1rTVJyfby_6xaG8vs2g 提取码: 3ypr 复制这段内容后打开百度...

2020-04-21 15:56:29 106 0

原创 jdbc调用存储过程,并设置输出参数

·创建存储过程 create or replace procedure myDemo03(total out int,name out sys_refcursor) as begin select count(1) into total from bizsys; open name for s...

2020-04-21 15:56:03 50 0

原创 可视化 工作流flowable

flowable 带有可视化ui操作界面 flowable 文档 https://tkjohn.github.io/flowable-userguide/ 关于自定义流程总结: ###################### 用户任务 有好几种方式可以通过java 设置 签收用户,...

2020-04-21 15:54:29 239 0

原创 mysql 两个不同类型的字段 做join on,以及发生的两个不同编码的字段比较问题

mysql 中有两个表: tableA表:id字段类型为varchar tableB表:id字段为int 执行以下语句: select a.*,b.* from tableA a left tableBb on a.id=b.id 会发现查出来的数据 错乱,没有按照a.id=b.id ...

2020-03-26 09:23:32 449 0

原创 vue 出现空格空行 报错去除

vue默认空格校验十分严格,严重影响编程效率。 因为默认使用 ESLint,用来规范代码风格的。你的 Webpack 配置中大概是使用了eslint-loader。在多人协作或大项目中推荐使用,不想要就在webpack.config.js中去掉。eslint是语法检查工具,但限制太过于严格,大部...

2020-03-19 11:12:21 159 0

原创 spring-expression Spel表达式 java语言解析

对表达式进行解析,对于一开始不知道在哪用的方法,通过字符串传入解析器,进行解析。 demo 1 解析"1+2" public static void main(String[] args) { //将一整个语句直接定义了字符串 ,其中对字符串的开始索引与...

2020-03-17 15:17:09 77 0

原创 numpy的几种矩阵操作

矩阵的加法 需要符合下面两个条件才可以 shape(None,n)+shape(n) shape(m,n)+shape(m,n) m = np.array([[1,2,3],[4,5,6]]) b=np.array([1,1,1]) m+b array([[2, 3, 4], ...

2020-03-16 18:03:10 74 0

原创 mapreduce java kmeans

最近在网上查看用MapReduce实现的Kmeans算法,例子是不错,http://blog.csdn.net/jshayzf/article/details/22739063 但注释太少了,而且参数太多,如果新手学习的话不太好理解。所以自己按照个人的理解写了一个简单的例子并添加了详细的注释。 ...

2019-03-25 12:16:33 148 0

原创 pig 教程及 自定义udf 的java版

pig教程https://www.w3cschool.cn/apache_pig/ Apache Pig 用户定义函数(UDF) 原文:https://www.w3cschool.cn/apache_pig/apache_pig_user_defined_functions.html,略有改动...

2019-03-21 10:39:50 216 0

原创 linux上虚拟机 qemu-kvm 安装,并与宿主机通信

安装 qemu/kvm yum install qemu-img qemu-kvm qemu-kvm-tools virt-manager virt-viewer virt-v2v virt-top libvirt libvirt-python libvirt-client python-vi...

2019-03-09 19:17:10 2664 0

原创 2T以上硬盘分区的问题

当在linux中使用fdisk对大于2T的硬盘进行分区的时候,只能使用其中的2T,剩余的就无法分区挂载,可使用parted命令进行对2T以上硬盘进行分区 1.2T及以下硬盘分区方法 [root@localhost ~]# fdisk /dev/sdm Device contains neit...

2019-03-08 22:41:48 1447 0

原创 vnc 之 centos 安装远程桌面,windows、centos可远程操作centos桌面,

(1)需要被操控的centos(简称server)需要先安装tigervnc,命令如下 yum install tigervnc tigervnc-server (2)centos server 需要开启tigervnc-server,命令如下 vncserver :n #注意n可以...

2019-03-08 22:34:23 449 0

原创 pip下载 离线安装第三方包

下载 下载第三方包的两种方式 (1)直接把jieba包下载到/usr/local/download/pip/目录下 pip download -d /usr/local/download/pip/ jieba (2)建一个requirement.txt文件里面一行一行写需要的包,/u...

2019-03-07 18:32:56 4933 0

原创 Storm WordCount示例

pom.xml <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core...

2019-02-13 15:00:24 100 0

原创 实时计算 strom

本节内容: Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui、Nimbus和Supervisor 一、Apache Storm是什么 Apache Storm是自由开源的分布式实时计算系统,擅长处理海...

2019-02-13 14:54:14 77 0

原创 strom 与spark对比

1.storm简介 Storm是一个分布式的,可靠的,容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理,spout把数据传递给bolt, bolt要么把数据保存到某种存储器,要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout传过来...

2019-02-13 14:21:29 145 0

原创 hadoop 之Mahout 数据挖掘

Mahout 仅提供一些java的算法包,通过Mahout执行这些算法包,并把hdfs上的文件作为输入可以在hadoop上做分布式计算 提供的常用算法 Mahout 提供了常用算法的程序库,可以基于分布式做数据挖掘. 常见算法 回归算法:用于预测(日期交易量预测等等)。 比如...

2019-02-13 14:12:09 711 0

原创 hadoop 之pig

相比Java的MapReduce api,Pig为大型数据集的处理提供了更高层次的抽象,与MapReduce相比,Pig提供了更丰富的数据结构,一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作,包括在MapReduce中被忽视的连接Join操作。 pig 也是hadoop中...

2019-02-13 13:38:06 1169 0

提示
确定要删除当前文章?
取消 删除