涂作权的博客

原创 4、JVM垃圾回收机制、新生代的GC、GC（Minor GC、FullGC）、GC日志、JVM参数选项、元空间（笔记）

4.JVM垃圾回收机制4.1.新生代的GC4.1.1.串行GC（SerialGC）4.1.2.并行回收GC(Parallel Scavenge)4.1.3.并行GC(ParNew)4.2.GC（Minor GC、FullGC）4.2.1.Minor GC4.2.2.FullGC4.3.GC日志4.JVM垃圾回收机制JVM分别对新生代和老年代采用不同的垃圾回收机制。4.1.新生代的GC新生代通常存活时间较短，因此基于复制算法来进行回收，所谓复制算法就是扫描出存活的对象，并复制到一块新的

原创 3.内存分配、逃逸分析与栈上分配、直接内存和运行时常量池、基本类型的包装类和常量池、TLAB、可达性分析算法(学习笔记)

3.JVM内存分配3.1.内存分配概述3.2.内存分配–Eden区域3.3.内存分配–大对象直接进老年代3.3.1.背景3.3.2.解析3.4.内存分配–长期存活的对象进去老年代3.5.内存分配–空间分配担保3.5.1.堆空间参数3.5.2.-XX:HandlePromotionFailure3.6.内存分配–逃逸分析与栈上分配3.6.1.逃逸分析3.6.1.1.方法逃逸3.6.1.2.线程分配3.6.2.栈上分配3.6.3.逃逸分析/栈上分配的优势分析3.6.3.1.同步消

原创 2、垃圾回收算法(标记清除算法、复制算法、标记整理算法和分代收集算法)，各种垃圾收集器讲解(学习笔记)

2.垃圾回收概述2.1.垃圾回收算法2.1.1.垃圾回收算法-标记清除算法2.1.2.垃圾回收算法–复制算法2.1.3.垃圾回收算法–标记整理算法和分代收集算法2.1.4.垃圾回收算法–Serial收集器详解2.1.5.垃圾回收算法–Parnew收集器详解2.1.6.垃圾回收算法–Parallel收集器详解2.1.7.垃圾回收算法–CMS收集器详解2.1.8.最牛的垃圾回收集器–g1收集器详解2.垃圾回收概述对象什么时候才能变成垃圾。如何判定对象为垃圾对象。关于垃圾回收的三个问题：

原创 1、虚拟机内存管理、运行时数据区、线程共享区、Java堆、新生代、老年代、Eden区域分配、方法区、线程独占区、虚拟机栈

1.Java虚拟机内存管理1.1.运行时数据区[Runtime Data Area]1.1.1.线程共享区1.1.1.1.Java堆[heap]1.1.1.1.1.新生代、老年代、Eden区域分配1.1.1.1.2.年轻代（Young Generation）1.1.1.1.3.老年代（Old Generation）1.1.1.2.方法区[Method Area]1.1.2.线程独占区1.1.2.1.虚拟机栈[VM Stack]1.1.2.2.本地方法栈[Native Method sta

转载 JournalNode的作用

NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。上面在Active N

原创 18.HMM隐马尔可夫模型

以上就是鲍姆-韦尔奇算法的整个过程。注意上面有个参数covariance_type，取值为"full"意味所有的μ,Σ都需要指定。取为“spherical”则

原创 11.EM算法

11.EM算法本文主要转自：https://www.cnblogs.com/pinard/p/6912636.htmlEM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断等等。本文就对EM算法的原理做一个总结。11.1.EM算法要解决的问题我们经常会从样本观察数据中，找出样本的模型参数。 最常用的方法就是极大化模型分布的对数似然函数。但是在一些情况下，我们得到的观察

原创 9.LDA(线性判别分析)

原创 8.Xgboost

8.Xgboost8.1.XGBoost算法https://www.cnblogs.com/mantch/p/11164221.htmlXGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。说到XGBoost，不得不提GBDT(Gradient Boosting Decision Tree)。因为XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X

原创 6.支持向量机（SVM）、什么是SVM、支持向量机基本原理与思想、基本原理、课程中关于SVM介绍

6.支持向量机（SVM）6.1.什么是SVM6.2.支持向量机基本原理与思想6.2.1.支持向量机6.2.2.基本原理6.3.课程中关于SVM介绍6.支持向量机（SVM）6.1.什么是SVM以下转自：https://www.zhihu.com/question/21094489支持向量机/support vector machine (SVM)。可以从一个了解什么是SVM，以及要做的事情。在很久以前的情人节，大侠要去救他的爱人，但魔鬼和他玩了一个游戏。魔鬼在桌子上似乎有规律放了两种颜

原创 5.贝叶斯算法、单词拼写错误案例

5.贝叶斯算法5.1.单词拼写错误案例5.贝叶斯算法贝叶斯简介贝叶斯(约1701-1761) Thomas Bayes，英国数学家。贝叶斯方法源于他生前解决一个”逆概”问题写的一篇文章。生不逢时，死后它的作品才被世人认可。贝叶斯要解决的问题：正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例

原创 4.K-MEANS聚类算法

4.K-MEANS聚类算法4.1.概述4.2.算法核心思想4.3.K-Means原理初探4.4.传统K-Means算法流程4.5.K-Means初始化优化K-Means++4.7.大样本优化Mini Batch K-Means4.8.K-Means与KNN4.9.KMEANS术语4.10.KMEANS算法优缺点4.11.K-Means算法API文档简介4.12.K-MEANS算法样例演示4.13.KMeans算法的十大应用4.13.1.文档分类器4.13.2.物品传输优化4.1

原创 3.TF-IDF算法介绍、应用、NLTK实现TF-IDF算法、Sklearn实现TF-IDF算法、算法的不足、算法改进

3.TF-IDF3.1.TF-IDF算法介绍3.2.TF-IDF应用3.3.NLTK实现TF-IDF算法3.4.Sklearn实现TF-IDF算法3.5.Jieba实现TF-IDF算法3.6.TF-IDF算法的不足3.7.TF-IDF算法改进—TF-IWF算法3.TF-IDF以下转自：https://blog.csdn.net/asialee_bird/article/details/814867003.1.TF-IDF算法介绍TF-IDF（term frequency–inverse

原创 2.1.决策树和随机森林

2.1.决策树和随机森林决策树(Decision Tree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。决策树是一种基本的分类和回归方法，学习通常包含三个步骤：特征选择、决策树的生成和决策树的剪枝。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。分类树(决策树)是一种十分常用的分类方法。数据挖掘中决策树是

原创 ElasticSearch中的某个index的状态显示为red的问题、index显示Unassigned Shards

ElasticSearch中的某个index的状态显示为red的问题错误：Unassigned Shards 41.1.1.查看集群状态GET /_cluster/health?pretty结果类似：{ "cluster_name" : "elasticsearch", "status" : "red", "timed_out" : false, "number_of_nodes" : 3, "number_of_data_nodes" : 3, "active_p

转载 Hadoop - YARN NodeManager 剖析、NodeManger内部架构、分布式缓存、目录结构、状态机管理、Container 生命周期剖、资源隔离

一 概述NodeManager是运行在单个节点上的代理 ，它管理Hadoop集群中单个计算节点，功能包括与ResourceManager保持通信，管理Container的生命周期、监控每个Container的资源使用(内存、CPU等）情况、追踪节点健康状况、管理日志和不同应用程序用到的附属服务等。NodeManager是YARN中单个节点的代理， 它需要与应用程序的ApplicationMaster和集群管理者ResourceManager交互;它从ApplicationMaster上接收有关Conta

转载 JournalNode的作用

JournalNode的作用NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步

原创 rocketmq安装，内存配置，各种命令说明，windows下安装，控制台工具

1修改内存大小以下只是设置实例：cd /home/bigdata/installed/rocketmq-all-4.2.0 （140机器）vim bin/runserver.sh　（调整nameserver启动的内存，不调整此文件，可能导致无法启动。）JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" vim bin/runbroker.sh

原创 ElasticSearch技术文档

Elastic Stack1.安装xxx.xxx.xxx.249 开发xxx.xxx.xxx.254 测试xxx.xxx.xxx.100 预发useradd elasticsearchpasswd elasticsearchinstalling Java version 1.8.0_131 or a later version in the Java 8 release series.vi /home/elasticsearch/ELK/elasticsearch-6.4.0/bin/el

转载 Apache Kafka消息格式的演变(0.7.x~0.10.x)

用 Kafka 这么久，从来都没去了解 Kafka 消息的格式。今天特意去网上搜索了以下，发现这方面的资料真少，很多资料都是官方文档的翻译；而且 Kafka 消息支持压缩，对于压缩消息的格式的介绍更少。基于此，本文将以图文模式介绍 Kafka 0.7.x、0.8.x 以及 0.10.x 等版本 Message 格式，因为 Kafka 0.9.x 版本的消息格式和 0.8.x 一样，我就不单独介绍了。设计良好的消息格式应该很容易支持版本的升级，并且新版本消息格式兼容老版本消息格式。现在我们就来看看 Kafk

转载 Kafka创建Topic时如何将分区放置到不同的Broker中

熟悉 Kafka 的同学肯定知道，每个主题有多个分区，每个分区会存在多个副本，本文今天要讨论的是这些副本是怎么样放置在 Kafka 集群的 Broker 中的。大家可能在网上看过这方面的知识，网上对这方面的知识是千变一律，都是如下说明的：为了更好的做负载均衡，Kafka尽量将所有的Partition均匀分配到整个集群上。Kafka分配Replica的算法如下：将所有存活的N个Brokers和待分配的Partition排序•将第i个Partition分配到第(i mod n)个Broker上，这个Pa

转载 Kafka分区分配策略(Partition Assignment Strategy)

问题用过 Kafka 的同学用过都知道，每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息，我们也可能会启动多个 Consumer 去消费，而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道，Kafka 存在 Consumer Group 的概念，也就是 group.id 一样的 Consumer，这些 Consumer 属于同一个Consumer Group，组内的所有消费者协调在一起来消费订阅主题(subscrib

转载 Kafka 是如何保证数据可靠性和一致性

学过大数据的同学应该都知道 Kafka，它是分布式消息订阅系统，有非常好的横向扩展性，可实时存储海量数据，是流数据处理中间件的事实标准。本文将介绍 Kafka 是如何保证数据可靠性和一致性的。数据可靠性Kafka 作为一个商业级消息中间件，消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。Topic 分区副本在 Kafka 0.8.0 之前，Kafka 是没有副本的概念的，那时候人们只会用 Kaf

转载 图文了解 Kafka 的副本复制机制

让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。Apache Kafka 的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重新思考简化复杂行为的方法。Apache Kafka 中一个更细微的功能是它的复制协议（replication protocol）。对于单个集群上不同大小的工作负载，调整 Kafka replication 以让它适用不同情况在今天来看是有点棘手的。使这点特别困难的挑战之一是如何防止副本从同步副本列

转载 32 道常见的 Kafka 面试题

最近很多粉丝后台留言问了一些大数据的面试题，其中包括了大量的 Kafka、Spark等相关的问题，所以我特意抽出时间整理了一些大数据相关面试题，本文是 Kafka 面试相关问题，其他系列面试题后面会陆续整理，欢迎关注过往记忆大数据公众号。1、Kafka 都有哪些特点？高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。•可扩展性：kafka集群支持热扩展•

转载 SpringBoot系列：Spring Boot集成定时任务Quartz

一、关于QuartzQuartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目，它可以与J2EE与J2SE应用程序相结合也可以单独使用。在java企业级应用中，Quartz是使用最广泛的定时调度框架。在Quartz中的主要概念：Scheduler：调度任务的主要APIScheduleBuilder：用于构建Scheduler，例如其简单实现类SimpleScheduleBuilderJob：调度任务执行的接口，也即定时任务执行的方法JobDetail：定时任

原创 使用datax将hive中的数据导入到clickhouse

{ "core": { "transport": { "channel": { "speed": { "byte": 10485760 } } } }, "job": { "setting": {

转载 Flink On Yarn模式，为什么使用Flink On Yarn?Session模式、Per-Job模式、关闭yarn的内存检查，由Yarn模式切换回standalone模式时需要注意的点

Flink On Yarn模式原理为什么使用Flink On Yarn?在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：-1.Yarn的资源可以按需使用，提高集群的资源利用率-2.Yarn的任务有优先级，根据优先级运行作业-3.基于Yarn调度系统，能够自动化地处理各个角色的 Failover(容错)○ JobManager 进程和 TaskManager 进程都由 Yarn NodeManager 监控○ 如果 JobManager 进程异常退出，