自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zhouhy1101的专栏

专注于后台技术,大数据技术,开源技术,做一个技术思考者,实践者

  • 博客(11)
  • 资源 (4)
  • 收藏
  • 关注

原创 arthas助力线上问题分析-线上实战篇

文章目录1 前言2 基于heapAnalyzer和arthas的线上性能分析2.1 需求背景2.2 现场保存2.3 heapAnalyzer分析堆栈文件2.4 源码分析2.5 Arthas检测3 问题代码热更新3.1 查看类的classloaderhash3.2 修复代码3.2.1 已有源码的修复3.2.2 没有源码的修复3.3 热更新覆盖3.4 热更新注意点3.5 热更新总结4 springboot程序监控5 修改spring的cron调度时间5.1 需求背景5.2 模拟代码5.3 具体操作6 实例代码

2021-01-20 21:54:45 727

原创 arthas助力线上问题分析-基本使用篇

文章目录1 Arthas 介绍1.1 Arthas是什么1.2 Arthas使用场景1.3 Arthas怎么用1.3.1 standalone1.3.2 idea plugin2 Arthas 基本使用篇2.1 全局监控2.2 线程状态监控2.2.1 CPU 状态监控2.2.2 线程池查看2.2.3 线程池死锁排查2.3 classloader相关信息2.3.1 查看方法信息2.3.2 查看类信息与变量信息2.3.3 变量访问与控制2.3.4 观察方法运行耗时2.3.4.1 方法运行耗时2.3.4.2 统计

2021-01-19 20:00:37 563

原创 k8s应用部署二:如何将应用部署在k8s上

文章目录1 挂载目录配置2 镜像仓库配置3 K8S应用编写4 服务发现在上一篇文章中,我们学会了如何制作一个拥有最小执行环境的java应用镜像,在这篇文章中我们将学会如何将应用部署到k8s上,并对外提供服务。1 挂载目录配置首先参考上一篇文章,需要挂载把jar包和脚本挂载到pod中去。在k8s中,管理存储状态是使用Persistent Volume(PV)和 Persistent Volume Claim(PVC)这套持久化存储体系。PV 描述的,是持久化存储数据卷。这个 API 对象主要定义的

2021-04-03 20:46:46 1256

原创 k8s应用部署一:如何将应用在容器中执行

在这篇文章将学到如何制作一个通用的精简的java镜像程序,以支持所有的java程序的运行。1 方案要制作一个通用的精简的java镜像程序,只需要镜像中的环境可以运行jre即可。不同的java程序通过抽象,其实就是拥有不同的jar以及可执行脚本的程序。所以这里的方案是制作一个最精简的拥有jre的镜像,然后通过目录挂载方式,将jar包以及脚本挂载进去即可。2 制作基础镜像2.1 制作jre的执行需要依赖于glib,使用以下dockerfileDockerfileFROM docker.io/j

2021-04-02 23:06:11 957

原创 sonatype中央仓库申请及项目上传

文章目录1 申请sonatype账号2 创建issure3 maven配置4 上传下载此篇教程将教大家如何申请sonatype账号,并创建构件,上传项目到中央仓库中,完成此步后,我们就可以随时随地的使用自己开源的项目1 申请sonatype账号登录https://issues.sonatype.org/secure/Signup!default.jspa 创建sonatype账号2 创建issure[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wERzvtR4-16

2021-04-02 22:33:07 765

转载 RDD:基于内存的集群计算容错抽象

文章目录摘要1.引言2.弹性分布式数据集(RDD)2.1 目标和概述2.2 RDD抽象2.3 编程模型2.4 示例:控制台日志挖掘2.5 RDD与分布式共享内存3. Spark编程接口3.1 Spark中的RDD操作4. 应用程序示例4.1 迭代式机器学习4.2 使用RDD实现MapReduce4.3 使用RDD实现Pregel4.3.1 Pregel容错4.4 使用RDD实现HaLoop4.5 不适合使用RDD的应用5. RDD的描述及作业调度5.1 RDD实现举例5.2 Spark任务调度器5.3 检查

2021-03-10 20:07:30 293

原创 从线程交替打印的几种方法来看java的线程同步

1 题目描述从一个经典面试题编写一个程序,开启 N 个线程,这 N 个线程交替打印 1-10000 的整数,样例 Sample:Thread1:1 Thread2:2 Thread3:3 Thread1:4 Thread2:5 Thread3:6 … Thread3:99 Thread1:100002 解体思路这道题是java线程同步的题,本篇介绍7个方法:使用synchronized+wait+notify可重入锁可重入锁+condition信号量locksupportvolatil

2021-03-02 15:32:03 318 2

原创 大数据平台CDH环境迁移手册

文章目录1 前言2 硬件检测与配置优化2.1 磁盘挂载2.1.1 磁盘大小低于2T2.1.2 磁盘大小大于2T2.2 内存查看2.3 cpu检查2.4 网卡检查2.5 ntp同步3 os参数优化4 CDH参数优化4.1 hdfs4.2 yarn5 平台迁移模拟5.1 停止5.2 修改配置5.3 启动cdh6 CDH平台扩容7 服务启停8 注意点9 现场遇到的问题与解决10 帮助脚本1 前言最近接到了一个工作,将公司线上生产环境的6台安装了CDH以及大数据平台的服务器迁移到客户现场。服务器中有200+T

2021-02-27 23:07:33 1450 1

原创 flink数据倾斜问题解决与源码研究

文章目录1 遇到问题2 解决问题2.1 更改并行度2.2 重写StreamSource2.3 withIdleness3 深入分析3.1 重写StreamSource3.2 withIdleness的实现原理参考1 遇到问题flink实时程序在线上环境上运行遇到一个很诡异的问题,flink使用eventtime读取kafka数据发现无法触发计算。经过代码打印查看后发现十个并行度执行含有十个分区的kafka,有几个分区的watermark不更新,如图所示。打开kafka监控,可以看到数据有严重的倾斜

2021-01-19 20:17:04 795

原创 mysql复制表总结

1 insert…from的问题insert … select 是很常见的在两个表之间拷贝数据的方法。需要注意,在可重复读隔离级别下,这个语句会给select的表里扫描到的记录和间隙加读锁。以下对insert…select 进行一下测试全表读或主键排序读sessionAmysql> insert into trajectory_min_section_0511_copy select * from trajectory_min_section_0511; sessionBmysq

2021-01-19 20:07:22 558

原创 工作十天小记

已经在单位里工作了10天了。在这10天中,主要是接触了extjs。以前曾经小用过flex,感觉extjs和后台的交互还是挺容易的,而且API文档和实例程序很丰富,方便开发。总体来说,我对这10天的工作还是比较满意的。接下来要深入学习html,css,JavaScript。借助某位仁兄的话就是和后台的技术相比保值度比较高,空闲的时候多看看英文,装好Oracle rac,以及Linux,以便学习。...

2010-03-07 17:54:55 88

统计学习方法-李航

是南大的客座教授李航的著作,对于像学习各个机器学习算法理论知识十分有帮助,掌握这些,了解这些,学习如何推导公式,瞬速通过bat的机器学习面试。 《统计学习方法》是计算机及其应用领域的一门重要的学科。《统计学习方法》全面系统地介绍了统计学习的主要方法,特别是监督学习方法,包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外,每章介绍一种方法。叙述从具体问题或实例入手,由浅入深,阐明思路,给出必要的数学推导,便于读者掌握统计学习方法的实质,学会运用。为满足读者进一步学习的需要,书中还介绍了一些相关研究,给出了少量习题,列出了主要参考文献。

2018-10-07

WGAN介绍ppt

生成式对抗网络,搜集整理了网上关于GAN ,WGAN,汇总详解了WGAN-GP

2018-10-07

一天搞懂深度学习

一天搞懂深度学习

2018-06-28

自动机理论、语言和计算导论

自动机理论、语言和计算导论

2013-05-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除