- 博客(11)
- 收藏
- 关注
RSS订阅原创 Apache Storm性能调优实践
在进行调优之前，了解Storm的基本架构是非常重要的。随着数据量的变化和应用逻辑的调整，应不断地回顾和调整Storm的配置。通过细致的规划、配置和监控，你的Storm集群将能够高效、稳定地处理大规模实时数据。- 适当的Supervisor节点数量：根据你的工作负载和故障转移需求，分布式地设置足够的Supervisor节点。- JVM调优：对Storm的Nimbus和Supervisor进程进行JVM调优，设置合理的堆大小和垃圾回收选项。- 网络配置：确保集群内部和客户端连接到集群的网络是高效和稳定的。
2024-01-01 09:16:33
375
原创 搭建与调优Apache Flink的实践指南
始终关注Flink社区的最新动态和最佳实践，可以帮助你更好地利用Flink的强大能力。通过细致的搭建和调优，你的Flink应用将能够高效稳定地处理大规模实时数据，驱动业务的发展。在开始之前，确保你的系统满足Flink的基本要求。配置JVM参数：适当配置JVM参数，如堆大小(`-Xmx`和`-Xms`)，可以提高性能和稳定性。选择合适的策略：根据应用的需要选择合适的Checkpoint间隔和模式，以平衡一致性和性能。优化状态存储：选择合适的状态后端，如RocksDB，来优化大状态的存储和访问。
2024-01-01 09:13:08
372
原创 Flink性能优化指南
Flink是一个强大的实时计算框架，但要发挥其最大效能，需要对其进行细致的配置和优化。通过合理配置内存、设置并行度、优化网络通信、解决数据倾斜、调优Checkpoint等方式，可以显著提高Flink应用的性能和稳定性。并行度直接影响任务的数量和数据切分块数。性能问题的定位可以遵循“一压二查三指标”的原则，即先看背压情况，再检查Checkpoint时长，最后关注核心指标如延迟和吞吐量。在实际开发中，需要注意数据序列化和反序列化造成的性能问题、数据结构选择、数据倾斜问题、批处理操作以及频繁GC问题。
2024-01-01 09:10:48
536
原创 ml自用文件
与大数据不同的是，因为数模的很多因子都是自己定的，所以有时候在回归分析中，选用何种因子采用何种表达式只是一种推测，这影响了因子的多样性和某些因子的不可预测性，使得回归分析在某些情况下收到限制，（就是说你凭啥这么预测，只有很明显的存在逻辑关系，才能这么适用==）有一定的主观性，因此，总的来说，模糊综合评判是一种基于主观信息的综合评价方法。的，不能站错了队假的指标，类似量纲化选择最多大，因为你可以选择所谓的最大的——但并不是数值最大就是最好的，所以在进行这部前，需要对数据，label进行无量纲化处理。
2024-01-01 09:07:26
918
原创 多种掌纹识别算法对比
本研究的实验结果表明，即便在不使用深度学习模型的情况下，通过精心设计的特征提取策略和参数优化，也能在掌纹识别任务中达到令人满意的效果。数据集被划分为训练集和测试集，比例为4:2，经测试，如果训练集和测试集比例为3:3，那么效果会非常差，所以我选择在本次实验中一4:2的比例来进行划分，以确保模型有足够的数据进行学习，同时也保留了独立的测试集以评估模型性能。尽管深度学习在此领域取得了显著的进展，，但这些方法通常需要大量的数据和计算资源，这在资源受限的环境下成为了一大挑战。
2024-01-01 09:05:41
1699
1
原创 storm调优（2）
3. Executor与Task：在每个Worker中，会启动Executor，每个Executor默认启动一个Task。4. ACK/Fail线程配置：默认情况下，每个Worker进程启动1个Acker线程，提供ACK/Fail服务。2. Topology与Worker进程：通常，每个Topology默认占用一个Worker进程。- Executor线程：每个Executor有自己的接收和发送缓冲区，负责数据处理。- `builder.setBolt()`：设定Executor数量。
2023-12-19 18:51:53
29
1
原创 Storm调优（1）
storm.messaging.netty.server_worker_threads`: 服务器工作线程数，默认为1。`storm.messaging.netty.client_worker_threads`: 客户端工作线程数，默认为1。`storm.messaging.netty.transfer.batch.size`: 消息批处理大小。`storm.messaging.netty.socket.backlog`: 套接字连接数的最大排队数。单线程特性：Spout是单线程的，耗时操作会影响效率。
2023-12-19 18:43:51
53
原创 基于pyQT5的对齐相减，旋转，增强，分割程序
2.特征匹配：找到两图中匹配的特征点，并按照匹配度排列，保留最匹配的一小部分。self.btn_segment_image_adaptive_threshold = QPushButton('自适应分割', self)原理：在一个图像中检测到一组特征点，并与另一张图像中的特征点相匹配。self.btn_segment_image_otsu = QPushButton('大津法分割', self)3.计算单应性矩阵：上一步产生的匹配的特征点不是100%正确的，就算只有20~30%的匹配是正确的也不罕见。
2023-12-15 15:16:06
153
原创 2023数学建模c题省一思路
一.摘要部分二.问题分析思路三.创新点1.wavelet2.问题二的建模创新2.1一眼能看出非线性的，所以拟合的时候不能用线性的方法去拟合，这里选择多项式回归，虽然效果一般但是也能用2.2通过新建惩罚函数进行创新四.评价总结
2023-12-15 14:59:57
30
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人