![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 92
小沈同学呀
JAVA程序猿一枚,擅长分布式微服务、高并发、多线程等常规架构。记录成为架构师之路的点滴,分享工作中的各种疑难杂症。
展开
-
【福利】百度内容审核平台实战
百度内容审核平台主要针对图像、文本、音视频、直播等多媒体内容,提供全方位的审核能力,覆盖涉黄、违禁、广告、恶心不适等丰富的审核维度,为业务健康发展保驾护航。相比于阿里、腾讯的内容审核接口百度的接口可以免费试用365天,而且提供完整的SDK,调用简单快捷。原创 2024-01-11 17:07:45 · 1341 阅读 · 7 评论 -
软考架构案例之大数据架构
软考大纲的大数据架构分为Lambda、Kappa两种架构,Lambda架构采用Hadoop、Spark实现批量处理数据,而Kappa架构则是采用Flink流式处理实现实时数据处理。在我们实际的开发实战场景中一般还是偏实时数据处理较多,比如广告平台、证券交易等等。原创 2023-12-13 15:08:34 · 1620 阅读 · 8 评论 -
实战:大数据Flink CDC同步Mysql数据到ElasticSearch
CDC 的全称是 Change Data Capture(变更数据捕获技术) ,在广义的概念上,只要是能捕获数据变更的技术,我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术。原创 2023-09-06 10:17:11 · 5111 阅读 · 17 评论 -
大数据Flink简介与架构剖析并搭建基础运行环境
Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。原创 2023-08-30 10:26:48 · 1541 阅读 · 7 评论 -
实战:大数据Spark简介与docker-compose搭建独立集群
Spark是采用分布式数据集RDD对数据进行管理,用内存进行分布式计算,他的性能叫hadoop有显著的提升。对于Spark独立集群的搭建我们用docker容器也是比较的简单,当然,我们也可以集成在springboot开发出适应业务的功能安装需求进行远程提交任务。原创 2023-08-23 10:46:09 · 2107 阅读 · 6 评论 -
【hadoop】windows上hadoop环境的搭建步骤
在大数据开发领域中,不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上,但是作为一个资深搬砖人,我们本地环境也需要一个开发hadoop的开发环境。那么,今天就安排一个在windows上搭建一个hadoop环境。原创 2023-08-16 10:10:24 · 3799 阅读 · 13 评论 -
实战:使用Docker部署Hadoop集群
用docker方式部署hadoop集群较普通物理更为简单,且方便管理。本次实战过程用的bridge网络,如果需要远程访问hdfs则是需要用host网络构建容器。原创 2023-08-10 10:38:54 · 1038 阅读 · 11 评论