自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

茅坤宝骏氹的博客

Learning and Review。转载文章来源网络,转载链接不一定是原文,如有侵权请联系删除

  • 博客(2255)
  • 论坛 (3)
  • 收藏
  • 关注

原创 Java进阶学习路线

1、JVM(1)启动参数1)heap-Xms<size>-Xmx<size>a.young and old generation-Xmn<size>-XX:NewSize=<size>-XX:MaxNewSize=<size>-XX:NewRatio=<rate>-XX:Survivor...

2019-05-01 13:37:28 825 3

原创 博客文章列表(二)——算法、数据结构、数据库、ABCD

七、编程基础数据结构详情列表算法 详情列表算法.排序 详情列表算法.加密 ...

2018-09-22 11:10:26 389

原创 博客文章列表(一)——JAVA

一、成长系列面试 详情列表编程难题 详情列表java总结 详情列表java技能 ...

2018-09-22 11:06:30 647 6

原创 软件开发的微信公众号分享

一、已阅(1)程序员面试(mvpjob)  (2)程序员小灰(chengxuyuanxiaohui)(3)Hollis(hollischuang)(4)Java技术栈(javastack)二、未阅纯洁的微笑(keeppuresmile)大数据云技术java版web项目(java_project)JAVA高级架构(gaojijiagou)Java后端技术(JavaITWork)Java知音(Java...

2018-06-03 07:46:46 890

原创 Java工程师必备技能

一、JavaSE(1)Java基础1、数据结构2、算法3、包装类4、字符串5、异常处理6、类与接口7、泛型8、集合9、IO操作10、序列化11、迭代12、枚举13、properties14、压缩15、日期(2)Java进阶1、多线程线程池2、数据同步3、类加载双亲委派4、注解5、反射6、代理接口代理...

2018-04-06 22:13:15 659

原创 Scala与Java差异(五)之Map与Tuple

一、创建Map(1)创建Map// 创建一个不可变的Mapval ages = Map("Leo" -> 30, "Jen" -> 25, "Jack" -> 23)ages("Leo") = 31// 创建一个可变的Mapval ages = scala.collection.mutable.Map("Leo" -> 30, "Jen" -> 25, "Jack" -> 23)ages("Leo") = 31// 使用另外一种方式定义Map元素.

2020-11-22 13:19:14 183

原创 Scala与Java差异(四)之数组操作

一、数组操作之Array、ArrayBuffer以及遍历数组(1)Array在Scala中,Array代表的含义与Java中类似,也是长度不可改变的数组。此外,由于Scala与Java都是运行在JVM中,双方可以互相调用,因此Scala数组的底层实际上是Java数组。例如字符串数组在底层就是Java的String[],整数数组在底层就是Java的Int[]。// 数组初始化后,长度就固定下来了,而且元素全部根据其类型初始化val a = new Array[Int](10)a(0)a(0

2020-11-22 13:06:44 16

原创 Scala与Java差异(三)之函数

一、函数定义(1)函数的定义与调用在Scala中定义函数时,需要定义函数的函数名、参数、函数体。第一个函数如下所示:def sayHello(name: String, age: Int) = {if (age > 18) { printf("hi %s, you are a big boy\n", name); age }else { printf("hi %s, you are a little boy\n", name); age}sayHello("l...

2020-11-22 11:34:36 50

转载 案例分析 | 由Decimal操作计算引发的Spark数据丢失问题

转载自案例分析 | 由Decimal操作计算引发的Spark数据丢失问题供稿 | Hadoop Team编辑 | 顾欣怡本文3058字,预计阅读时间10分钟导读eBay的Hadoop集群上面每天运行着大量Spark计算任务。对于数据计算任务,其计算性能十分重要,数据质量也不可忽视,特别是对于金融数据,数据发生损坏将会产生严重后果。本文分享一次数据质量相关的问题以及我们排查该问题的过程和解决方案。一、症状一天,金融分析团队的同事报告了一个问题,他们发现在两个生产环境...

2020-11-08 11:20:21 36

转载 MySQL死锁如何处理

转载自MySQL死锁如何处理前提笔者负责的一个系统最近有新功能上线后突然在预警模块不定时报出MySQL死锁导致事务回滚。幸亏,上游系统采用了异步推送和同步查询结合的方式,感知到推送失败及时进行了补偿。于是,笔者争取了一点时间详细分析了导致死锁的多个事务的执行时序,分析并且得出解决方案。死锁场景复现首先,MySQL的服务端版本是5.7(小版本可以基本忽略),使用了InnoDB。有一张用户数据表的schema设计如下(无关字段已经屏蔽掉):CREATETABLE`t_user_...

2020-11-08 11:17:04 142

转载 ScheduledThreadPool中的Leader-Follow模式你知道不?

转载自ScheduledThreadPool中的Leader-Follow模式你知道不?ScheduledThreadPoolExecutor 是java中一个非常常用的定时调度的工具,其提供了两种定时调度常用模式:1.固定调度周期的任务执行。2.固定延迟间隔的任务执行,延迟间隔表示的是前一次执行完成到后一次执行开始的时间差。1.scheduleAtFixedRate(Runnablecommand,longinitialDelay,longperiod,TimeUnituni...

2020-11-08 11:08:54 53

转载 1.数据湖deltalake初识

转载自1.数据湖deltalake初识1.delta特性简介Delta Lake是Spark计算框架和存储系统之间带有Schema信息数据的存储中间层。它给Spark带来了三个最主要的功能:第一,Delta Lake使得Spark能支持数据更新和删除功能;第二,Delta Lake使得Spark能支持事务;第三,支持数据版本管理,运行用户查询历史数据快照。核心特性 ACID事务:为数据湖提供ACID事务,确保在多个数据管道并发读写数据时,数据能保持完整性。 数据版..

2020-11-08 11:06:12 71

转载 2.数据湖DeltaLake之DDL操作

转载自2.数据湖DeltaLake之DDL操作前面讲了delta lake简介,特性及基本操作。本文主要是讲DeltaLake的DDL操作,实际上是依赖于spark datasourcev2 和catalog API(3.0+)的,所以Deltalake整合spark的时候最好是3.0开始吧,正好最近spark 3.0也发布了。对创建sparksession有点要求,需要加上两个配置:valspark = SparkSession .builder() .appName(this.ge..

2020-11-08 11:02:21 20

转载 MySQL UPDATE 语句一个“经典”的坑

转载自MySQL UPDATE 语句一个“经典”的坑来源:ju.outofmemory.cn/entry/336774 有问题的SQL语句 why? 倒回去再重试验一把 最近好几次有开发同学在钉钉上问我,比如下图:问题归纳起来就是:在MySQL里面update一条记录,语法都正确的,但记录并没有被更新...刚遇到这个问题的时候,我拿到这条语句直接在测试库里面执行了一把,发现确实有问题,但和开发描述的还是 有区别 ,这里我用测试数据来模拟下:有问题的SQL..

2020-11-08 10:55:15 69

转载 实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作

转载自实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作供稿 |eBay ADI-Carmel Team作者| 金澜涛编辑 | 顾欣怡本文7309字,预计阅读时间22分钟导读本文介绍eBay Carmel团队利用Delta Lake,使Spark SQL支持Teradata的Update/Delete语法。主要从源码角度介绍了CRUD操作的具体实现和优化,以及delta表的管理工作。希望对同业人员有所启发和帮助。摘要大数...

2020-11-08 10:44:47 74

转载 HiveSQL常用优化方法全面总结

转载自HiveSQL常用优化方法全面总结Hive作为大数据领域常用的数据仓库组件,在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调整。列裁剪和分区裁剪最基本的操作。所谓列裁剪就是在查询时只读取需要的列,分区裁剪就是只读取需要的分区。以我们的日历记录表为例:select uid,event_t...

2020-11-08 10:42:04 36

转载 2019阿里天猫团队Java高级工程师面试题之三轮面试

转载自2019阿里天猫团队Java高级工程师面试题之三轮面试作者:编程砖家https://www.cnblogs.com/xiaoyangjia/p/10697324.html一.第一面1.五分钟自我介绍,说说自己的擅长及拿手的技术自我介绍是为了考察面试者的语言表达和总结概括能力,通常面试官希望听到如下四个方面:A 基本信息:简历上也有基本信息,口述一遍当作开场,说一下毕业学校、所学专业、获奖经历,时间控制在半分钟。B 项目经历:按照简历上的内容,按时间由远及近说说开发过的项目..

2020-11-08 10:39:14 43

转载 面试阿里挂了却拿到网易、点我达offer,一个三年经验Java程序员的面试总结

转载自面试阿里挂了却拿到网易、点我达offer,一个三年经验Java程序员的面试总结前言15年毕业到现在有三年多了,最近去面试了阿里集团(菜鸟网络,蚂蚁金服)、网易、滴滴、点我达,最终收到点我达、网易offer,蚂蚁金服二面挂掉,菜鸟网络一个月了还在流程中...最终有幸去了网易。但是要特别感谢点我达的领导及HR,真的非常非常好,很感谢他们一直的关照和指导。面试整体事项1.简历要准备好,联系方式一定要正确清晰醒目,项目经历按照时间倒序阐述,注意描述自己在项目中承担的职责,简历的模板..

2020-11-08 10:36:51 61

原创 Scala与Java差异(二)之条件控制与循环

一、if表达式(1)if表达式的定义在Scala中,if表达式是有值的,就是if或者else中最后一行语句返回的值。例如,val age = 30; if (age > 18) 1 else 0可以将if表达式赋予一个变量,例如,val isAdult = if (age > 18) 1 else 0另外一种写法,var isAdult = -1; if(age > 18) isAdult = 1 else isAdult = 0,但是通常使用上一种写法(2)if表

2020-10-08 12:15:40 96

原创 Scala与Java差异(一)之基础语法

一、Scala解释器的使用(1)REPLRead(取值)-> Evaluation(求值)-> Print(打印)-> Loop(循环)。scala解释器也被称为REPL,会快速编译scala代码为字节码,然后交给JVM来执行。(2)计算表达式在scala>命令行内,键入scala代码,解释器会直接返回结果给你。如果你没有指定变量来存放这个值,那么值默认的名称为res,而且会显示结果的数据类型,比如Int、Double、String等等。例如,输入1 + 1,会看到

2020-10-08 11:51:17 48

转载 ES集群管理

转载自ES集群管理8 集群管理ES通常以集群方式工作,这样做不仅能够提高 ES的搜索能力还可以处理大数据搜索的能力,同时也增加了系统的容错能力及高可用,ES可以实现PB级数据的搜索。下图是ES集群结构的示意图:从上图总结以下概念:1、结点ES集群由多个服务器组成,每个服务器即为一个Node结点(该服务只部署了一个ES进程)。2、分片当我们的文档量很大时,由于内存和硬盘的限制,同时也为了提高ES的处理能力、容错能力及高可用能力,我们将索引分成若干分片,每个分片可以放在不同的..

2020-09-05 14:36:32 49

转载 ES的索引管理

转载自ES的索引管理6索引管理6.1 搭建工程6.1.1 ES客户端ES提供多种不同的客户端:1、TransportClientES提供的传统客户端,官方计划8.0版本删除此客户端。2、RestClientRestClient是官方推荐使用的,它包括两种:Java Low Level REST Client和 Java High Level REST Client。ES在6.0之后提供 Java High Level REST Client, 两种客户端官方更推荐使用 Jav.

2020-09-05 13:50:10 107

转载 ES快速入门

转载自ES快速入门3 ES快速入门ES作为一个索引及搜索服务,对外提供丰富的REST接口,快速入门部分的实例使用head插件来测试,目的是对ES的使用方法及流程有个初步的认识。3.1 创建索引库ES的索引库是一个逻辑概念,它包括了分词列表及文档列表,同一个索引库中存储了相同类型的文档。它就相当于MySQL中的表,或相当于Mongodb中的集合。关于索引这个语:索引(名词):ES是基于Lucene构建的一个搜索服务,它要从索引库搜索符合条件索引数据。索引(动词):索引库刚创建起来是空的.

2020-09-05 13:06:22 57

转载 ElasticSearch介绍

转载自ElasticSearch介绍1、 ElasticSearch介绍1.1 介绍官方网址:https://www.elastic.co/cn/products/elasticsearchGithub:https://github.com/elastic/elasticsearch总结:1、elasticsearch是一个基于Lucene的高扩展的分布式搜索服务器,支持开箱即用。2、elasticsearch隐藏了Lucene的复杂性,对外提供Restful 接口来操作索引、搜索.

2020-09-05 12:39:25 80

原创 SpringBoot集成Flowable

一、项目结构二、maven配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.a.

2020-08-09 22:23:11 429

转载 Flowable学习笔记(二、BPMN 2.0-基础 )

转载自Flowable学习笔记(二、BPMN 2.0-基础 )1、BPMN简介业务流程模型和标记法(BPMN, Business Process Model and Notation)是一套图形化表示法,用于以业务流程模型详细说明各种业务流程。它最初由业务流程管理倡议组织(BPMI, Business Process Management Initiative)开发,名称为"Business Process Modeling Notation",即“业务流程建模标记法”。BPMI于200..

2020-08-09 14:44:28 517

转载 Flowable学习笔记(一、入门)

转载自Flowable学习笔记(一、入门)一、Flowable简介1、Flowable是什么Flowable是一个使用Java编写的轻量级业务流程引擎。Flowable流程引擎可用于部署BPMN 2.0流程定义(用于定义流程的行业XML标准), 创建这些流程定义的流程实例,进行查询,访问运行中或历史的流程实例与相关数据,等等。这个章节将用一个可以在你自己的开发环境中使用的例子,逐步介绍各种概念与API。Flowable可以十分灵活地加入你的应用/服务/构架。可以将JAR形式发布的F...

2020-08-09 14:40:39 351

原创 Spark Streaming之统计socket单词数

一、统计socket单词数侦听TCP套接字的数据服务器接收到的文本数据中的单词数。二、maven配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache..

2020-07-10 21:43:08 102

原创 Spark入门(十八)之多表关联

一、多表关联输入是两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的对应关系,输出"工厂名——地址名"表二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema.

2020-07-09 12:38:20 191

原创 Spark入门(十七)之单表关联

一、单表关联计算文本里面的父与子之间的关系,得到孙子与祖父之间的关系,输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache..

2020-07-09 12:20:30 195

原创 Spark入门(十六)之分组求TOP N最小值

一、分组求TOP N最小值计算文本里面的每个key分组求TOP N最小值,输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apac..

2020-07-09 08:43:33 174

原创 Spark入门(十五)之分组求最小值

一、分组求最小值计算文本里面的每个key分组求最小值,输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM..

2020-07-09 08:29:44 113

原创 Spark入门(十四)之分组求最大值

一、分组求最大值计算文本里面的每个key分组求最大值,输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM..

2020-07-09 08:23:39 238

原创 Spark入门(十三)之分组求平均值

一、分组求值计算文本里面的每个key分组求值,输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0..

2020-07-08 22:53:08 131

原创 Spark入门(十二)之最值

一、Distinct计算文本里面的每个单词去重,输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4...

2020-07-08 21:21:01 123

原创 Spark入门(十一)之排序

一、Sort计算文本里面的每个单词出现的个数,单词个数逆序(相同个数单词正序)输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.ap..

2020-07-08 12:28:41 77

原创 Spark入门(十)之Distinct去重

一、Distinct计算文本里面的每个单词去重,输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4...

2020-07-08 12:04:50 147

原创 Spark入门(九)之PI估值

一、Pi估值算法通过在圆上“投掷飞镖”来估计π。我们在单位平方((0,0)到(1,1))中随机选取点,看看有多少点落在单位圆内。分数应该是π/4,所以我们用这个来得到我们的估计值。二、项目maven依赖<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-.

2020-07-08 09:17:35 120

原创 Spark入门(八)之WordCount

一、WordCount计算文本里面的每个单词出现的个数,输出结果。二、maven设置<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/PO..

2020-07-08 09:09:38 113

转载 ThreadPoolExecutor 八种拒绝策略,对的,不是4种

转载自ThreadPoolExecutor 八种拒绝策略,对的,不是4种前言谈到 Java 的线程池最熟悉的莫过于 ExecutorService 接口了,jdk1.5 新增的 java.util.concurrent 包下的这个 api,大大的简化了多线程代码的开发。而不论你用 FixedThreadPool 还是 CachedThreadPool 其背后实现都是ThreadPoolExecutor。ThreadPoolExecutor 是一个典型的缓存池化设计的产物,因为池子有大小,当池子体..

2020-05-17 12:52:51 279

空空如也

茅坤宝骏氹的留言板

发表于 2020-01-02 最后回复 2020-01-02

博客的下一页导航不见了,有毒,前端人员去哪

发表于 2018-11-17 最后回复 2018-11-24

原创文章的数剧显示异常

发表于 2018-10-01 最后回复 2018-10-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除