自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 收藏
  • 关注

原创 Apache Storm性能调优实践

在进行调优之前,了解Storm的基本架构是非常重要的。随着数据量的变化和应用逻辑的调整,应不断地回顾和调整Storm的配置。通过细致的规划、配置和监控,你的Storm集群将能够高效、稳定地处理大规模实时数据。- 适当的Supervisor节点数量:根据你的工作负载和故障转移需求,分布式地设置足够的Supervisor节点。- JVM调优:对Storm的Nimbus和Supervisor进程进行JVM调优,设置合理的堆大小和垃圾回收选项。- 网络配置:确保集群内部和客户端连接到集群的网络是高效和稳定的。

2024-01-01 09:16:33 371

原创 搭建与调优Apache Flink的实践指南

始终关注Flink社区的最新动态和最佳实践,可以帮助你更好地利用Flink的强大能力。通过细致的搭建和调优,你的Flink应用将能够高效稳定地处理大规模实时数据,驱动业务的发展。在开始之前,确保你的系统满足Flink的基本要求。配置JVM参数:适当配置JVM参数,如堆大小(`-Xmx`和`-Xms`),可以提高性能和稳定性。选择合适的策略:根据应用的需要选择合适的Checkpoint间隔和模式,以平衡一致性和性能。优化状态存储:选择合适的状态后端,如RocksDB,来优化大状态的存储和访问。

2024-01-01 09:13:08 370

原创 Flink性能优化指南

Flink是一个强大的实时计算框架,但要发挥其最大效能,需要对其进行细致的配置和优化。通过合理配置内存、设置并行度、优化网络通信、解决数据倾斜、调优Checkpoint等方式,可以显著提高Flink应用的性能和稳定性。并行度直接影响任务的数量和数据切分块数。性能问题的定位可以遵循“一压二查三指标”的原则,即先看背压情况,再检查Checkpoint时长,最后关注核心指标如延迟和吞吐量。在实际开发中,需要注意数据序列化和反序列化造成的性能问题、数据结构选择、数据倾斜问题、批处理操作以及频繁GC问题。

2024-01-01 09:10:48 523

原创 ml自用文件

与大数据不同的是,因为数模的很多因子都是自己定的,所以有时候在回归分析中,选用何种因子采用何种表达式只是一种推测,这影响了因子的多样性和某些因子的不可预测性,使得回归分析在某些情况下收到限制,(就是说你凭啥这么预测,只有很明显的存在逻辑关系,才能这么适用==)有一定的主观性,因此,总的来说,模糊综合评判是一种基于主观信息的综合评价方法。的,不能站错了队假的指标,类似量纲化选择最多大,因为你可以选择所谓的最大的——但并不是数值最大就是最好的,所以在进行这部前,需要对数据,label进行无量纲化处理。

2024-01-01 09:07:26 917

原创 多种掌纹识别算法对比

本研究的实验结果表明,即便在不使用深度学习模型的情况下,通过精心设计的特征提取策略和参数优化,也能在掌纹识别任务中达到令人满意的效果。数据集被划分为训练集和测试集,比例为4:2,经测试,如果训练集和测试集比例为3:3,那么效果会非常差,所以我选择在本次实验中一4:2的比例来进行划分,以确保模型有足够的数据进行学习,同时也保留了独立的测试集以评估模型性能。尽管深度学习在此领域取得了显著的进展,,但这些方法通常需要大量的数据和计算资源,这在资源受限的环境下成为了一大挑战。

2024-01-01 09:05:41 1645 1

原创 实时计算常见问题汇总

常见问题汇总

2024-01-01 09:02:01 355

原创 storm调优(2)

3. Executor与Task:在每个Worker中,会启动Executor,每个Executor默认启动一个Task。4. ACK/Fail线程配置:默认情况下,每个Worker进程启动1个Acker线程,提供ACK/Fail服务。2. Topology与Worker进程:通常,每个Topology默认占用一个Worker进程。- Executor线程:每个Executor有自己的接收和发送缓冲区,负责数据处理。- `builder.setBolt()`:设定Executor数量。

2023-12-19 18:51:53 29 1

原创 Storm调优(1)

storm.messaging.netty.server_worker_threads`: 服务器工作线程数,默认为1。`storm.messaging.netty.client_worker_threads`: 客户端工作线程数,默认为1。`storm.messaging.netty.transfer.batch.size`: 消息批处理大小。`storm.messaging.netty.socket.backlog`: 套接字连接数的最大排队数。单线程特性:Spout是单线程的,耗时操作会影响效率。

2023-12-19 18:43:51 41

原创 zookeeper集群搭建

编写配置文件:sudo tee /etc/docker/daemon.json <<-'EOF'

2023-12-15 15:26:43 23

原创 基于pyQT5的对齐相减,旋转,增强,分割程序

2.特征匹配:找到两图中匹配的特征点,并按照匹配度排列,保留最匹配的一小部分。self.btn_segment_image_adaptive_threshold = QPushButton('自适应分割', self)原理:在一个图像中检测到一组特征点,并与另一张图像中的特征点相匹配。self.btn_segment_image_otsu = QPushButton('大津法分割', self)3.计算单应性矩阵:上一步产生的匹配的特征点不是100%正确的,就算只有20~30%的匹配是正确的也不罕见。

2023-12-15 15:16:06 148

原创 2023数学建模c题省一思路

一.摘要部分二.问题分析思路三.创新点1.wavelet2.问题二的建模创新2.1一眼能看出非线性的,所以拟合的时候不能用线性的方法去拟合,这里选择多项式回归,虽然效果一般但是也能用2.2通过新建惩罚函数进行创新四.评价总结

2023-12-15 14:59:57 28

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除