![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 74
麦神-mirson
十余年项目从业经验,先后服务于多家国内外上市公司,担任高工,架构师与研发经理等重要角色。主导多个大型项目的架构设计、研发与管理工作。在金融、电商领域具备丰富的实战经验, 擅长微服务分布式架构, 高并发缓存架构,异步队列架构, 亿级分库分表等架构设计与运用, 拥有广泛的技术面与丰富的实践经验, 热衷复杂场景的设计解决方案。
展开
-
【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正分布式集群环境
网上找了很多资料,但能够实现Docker安装Hadoop3.X和Hbase2.X真正分布式集群的教程很零散,坑很多, 把经验做了整理, 避免趟坑。原创 2023-04-09 10:34:37 · 2403 阅读 · 2 评论 -
Hadoop大数据生产环境问题 - Reducer内存超出限制被强制结束(memory limit...Killing container错误)
'PHYSICAL' memory limit. Current usage: XXX GB of XXX GB physical memory used; XXX GB of XXX GB virtual memory used. Killing container 问题解决方法原创 2022-11-04 15:30:31 · 1034 阅读 · 0 评论 -
TDEngine生产实践开发经验趟坑总结
一、安装与配置问题总结服务端的安装版本与客户端需要保持一致。(如果是在同一主机,安装服务端后, 会自带客户端。)etc/hosts下的IP与主机名称的映射, 不要存在多个映射,即IP与主机名称保持唯一性。如果IO瓶颈, 要注意dataDir是否配置多个存储路径,且在不同磁盘下面,配置新的目录时需清空原有数据,多个dataDir配置示例:dataDir /data/tdengine/data1 0 1dataDir /data/tdengine/data2 0 0dataDir /d原创 2022-02-10 10:39:31 · 29041 阅读 · 0 评论 -
Ansible自动化部署配置实践(实现TDEngine集群的自动化部署)
一、说明Ansible是一款基于Python的自动化运维,用于发布、管理和编排计算机系统的工具、而且可以支持批量系统配置、批量部署运维、批量运行命令等功能。这里以TDEngine的集群部署为例, 讲解如何通过Ansible实现自动化部署。二、Ansible的安装先安装 CentOS 7 的 EPEL repository[root@localhost ~]$ yum install -y epel-release确保yum数据源安装成功。安装ansible[root@localho原创 2022-01-06 09:43:45 · 28550 阅读 · 1 评论 -
TDEngine数据库生产级集群安装部署方案
一、说明TDengine是按照分布式高可靠架构设计,支持水平扩展,能够有效保障系统的可用性和可靠性,生产环境中一般都是多节点部署,TDengine集群部署需要三个以上节点,如果只部署两个数据节点也是可行, 但需要署Arbitrator节点(为模拟节点,不处理任何数据)。二、集群部署结构部署信息机器IP与端口:10.16.161.186:603010.16.161.187:603010.16.161.188:6030节点类型共有三个数据节点(DNODE),两个管理节点(MN原创 2022-01-04 14:09:37 · 30422 阅读 · 1 评论 -
Flink实时计算运用(三)Flink Table API运用
1. 什么是Table API & SQLTable API& SQL 是一种关系型API,用户可以像操作MySQL数据库表一样的操作数据,而不需要写Java代码完成flink function,更不需要手工的优化Java代码调优。SQL对一个非程序员操作来讲,学习成本很低,如果一个系统提供SQL支持,将很容易被用户接受。总结来说,关系型API的好处:关系型API是声明式的查询能够被有效的优化查询可以高效的执行“Everybody” knows SQLFlink原创 2021-05-06 00:40:21 · 33129 阅读 · 0 评论 -
Flink实时计算运用(四)Flink Table API & SQL 深入详解
1. Flink Table API的整体实现流程主要操作流程如下:// 创建表的执行环境val tableEnv = ... // 创建一张表,用于读取数据tableEnv.connect(...).createTemporaryTable("inputTable")// 注册一张表,用于把计算结果输出tableEnv.connect(...).createTemporaryTable("outputTable")// 通过 Table原创 2021-06-07 11:14:52 · 33427 阅读 · 1 评论 -
Flink实时计算运用(六)Flink 连接器的使用
1. Flink Connectors 介绍Flink 连接器包含数据源输入与汇聚输出两部分。Flink自身内置了一些基础的连接器,数据源输入包含文件、目录、Socket以及 支持从collections 和 iterators 中读取数据;汇聚输出支持把数据写入文件、标准输出(stdout)、标准错误输出(stderr)和 socket。官方地址Flink还可以支持扩展的连接器,能够与第三方系统进行交互。目前支持以下系统:Apache Kafka (source/sink)Apache Cas原创 2021-06-14 11:06:41 · 33348 阅读 · 1 评论 -
Flink实时计算运用(七)Flink 自定义序列化Protobuf接入实现方案
1. 自定义序列化接入方案(Protobuf)在实际应用场景中, 会存在各种复杂传输对象,同时要求较高的传输处理性能, 这就需要采用自定义的序列化方式做相应实现, 这里以Protobuf为例做讲解。功能: kafka对同一Topic的生产与消费,采用Protobuf做序列化与反序列化传输, 验证能否正常解析数据。通过protobuf脚本生成JAVA文件syntax = "proto3";option java_package = "com.itcast.flink.原创 2021-06-15 14:12:45 · 35404 阅读 · 0 评论 -
Flink实时计算运用(八)Flink 大数据实战案例一
1. Flink大数据实时处理设计方案整套方案通过Canal + Kafka 连接器 + Protobuf,实现数据的同步接入, 由Flink服务负责对各类业务数据的实时统计处理。2. 热销商品的统计处理功能实现对热销商品的统计, 统计周期为一天, 每3秒刷新一次数据。核心代码 主逻辑实现: /** * 执行Flink任务处理 * @throws Exception */ private void executeFlinkTask() thr原创 2021-06-17 22:19:59 · 33614 阅读 · 1 评论 -
Flink实时计算运用(九)Flink 大数据实战案例二
1. 订单支付状态跟踪统计(CEP运用)功能实现对热销商品的统计, 统计周期为一天, 每3秒刷新一次数据。核心代码 主逻辑代码实现: /** * 执行Flink任务处理 * @throws Exception */ private void executeFlinkTask() throws Exception { // 1. 创建运行环境 StreamExecutionEnvironment env = Str原创 2021-06-18 11:20:39 · 32909 阅读 · 1 评论