自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(59)
  • 资源 (4)
  • 收藏
  • 关注

原创 车联网大数据与人工智能一体化:开启智慧出行新时代

车联网通过将车辆与互联网相连,实现了车辆信息的采集、传输和处理,为用户提供了更加智能、便捷的出行服务。而大数据和人工智能作为车联网的核心技术,为车辆数据的分析和利用提供了重要支撑,可以帮助实现智能驾驶、智慧交通等多种应用场景。

2024-04-14 00:52:41 694 3

原创 技术与产品:工业革命与时代进步的缩影

在当今数字化时代,技术与产品的关系已成为推动社会发展的关键因素之一。然而,要理解技术与产品的演进,我们需要回顾工业革命对人类社会的深远影响。本文将从技术和产品的概念入手,探讨工业革命各阶段的代表性技术和产品,以及它们对社会发展的重要意义。技术指的是人类利用科学知识和技能创造、改造物质和能量以满足自身需求的能力和方式。技术可以是具体的工具、方法、流程或系统,用于解决问题或实现特定的目标。产品则是技术的具体应用,是经过加工、制造而成的可供消费和使用的物品或服务。

2024-04-06 21:10:07 489 1

原创 Kubernetes(K8s)技术解析

Kubernetes(简称K8s)是一个开源的容器编排平台,旨在简化容器化应用程序的部署、扩展和管理。为开发者和运维人员提供了丰富的功能和灵活的解决方案,帮助他们更轻松地构建、部署和管理云原生应用程序。Kubernetes最初由Google开发,并于2014年首次发布为开源项目。目前,它由云原生计算基金会(Cloud Native Computing Foundation,CNCF)维护,并得到了来自全球范围内许多公司和开发者的贡献和支持。

2024-04-01 00:44:55 1073 1

原创 主流后端开发语言:JAVA、C、C++、GO、PYTHON对比

软件开发领域,语言本身在各自领域都有适用场景,有许多流行的编程语言可供选择,每种语言都有其独特的特点和适用场景。

2024-03-28 23:52:43 1181 2

原创 系统架构设计-构建系统应用

系统架构指的是对一个系统整体结构的设计和组织方式,包括系统中各个组件之间的关系、功能划分、数据流动以及相互作用等方面的规划。系统架构旨在确保系统能够满足业务需求并具备所需的性能、可靠性、可维护性和安全性。

2024-03-23 23:36:22 971 2

原创 数据治理系统论-结合数据要素等

数据治理是指组织内外部对数据进行管理和监控的全面框架。它涵盖了数据的安全、合规性、可用性和价值最大化等方面。通过有效的数据治理,组织能够更好地理解其数据资产,并确保数据被正确地管理和利用。治理技术:包括数据质量管理、元数据管理、主数据管理、数据安全等技术。治理工具系统。

2024-03-17 18:58:02 1460 1

原创 Flink技术简介与入门实践

Flink 是一个分布式流处理和批处理计算框架,具有高性能、容错性和灵活性。JobManager:JobManager 是 Flink 集群的主节点,负责接收和处理用户提交的作业。解析和验证用户提交的作业。生成执行计划,并将作业图分发给 TaskManager。协调任务的调度和执行。管理作业的状态和元数据信息。:TaskManager 是 Flink 集群的工作节点,负责执行具体的任务。

2024-03-11 00:19:42 900

原创 人工智能AI网站推荐

AI爱好者在论文整理和分享方面有着非常出色的内容和质量,其中不仅有很多经典的AI论文,还有大量来自大牛教授的学术讲座和专业领域的实践案例。如果想开展AI领域的深度研究和学习,这个平台值得一试。AI中国(https://www.aicn.me/)致力于收集与AI相关的热门工具,包括但不限于ChatGPT、AI视频、AI办公、AI语音等领域,并为广大AI爱好者提供学习平台,降低获取学习资源的成本。该机构致力于推动科技信息的传播和共享,他们的网站提供了丰富的学术论文资源,包括人工智能领域的研究成果。

2024-03-05 22:53:52 1309

原创 大数据智能化-长视频领域

随着数字化与AI时代的到来,长视频领域的发展迎来了新的机遇和挑战。在这一背景下,大数据智能化技术的应用成为长视频行业提升用户体验、优化运营管理的重要手段之一。本文将从优爱腾3大长视频背景需求出发,分析静态资源CDN、视频文件存储与分发、UGC/PGC/AIGC内容管理与应用、用户APP埋点数据分析等方面的大数据智能化应用流程,并以爱奇艺的天工大数据运维平台为例,探讨大数据技术在长视频领域的具体应用。

2024-03-02 10:47:55 1225

原创 海豚调度DolphinScheduler入门学习

DolphinScheduler 是一款分布式的、易扩展的、高可用的数据处理平台,主要包含调度中心、元数据管理、任务编排、任务调度、任务执行和告警等模块。其技术架构基于 Spring Boot 和 Spring Cloud 技术栈,采用了分布式锁、分布式任务队列等技术确保任务高可用性。部署灵活,支持单机部署、分布式部署、容器化部署等方式。应用场景广泛,可用于大数据处理、定时任务和流程管理等领域。具有易扩展性、高可用性、多语言支持、易用性和活跃的开发社区等技术优势。

2024-02-25 22:43:44 1280 1

原创 基于CU,PO,RD,IPO矩阵图分析数据资产-自创

通过计算出的数据资产的可靠度,使用权重指标,可以对数据是否有下游使用,使用的重要程度,对数据是否可以归档或则销毁作为参考,以及对数据的价值,质量具有一定参考意义。像金融,社交媒体,视频网站,电商零售,传统房地产,车联网企业,制造业,工业互联网等每天都产生大量的数据,这些数据就像水一样,处理的好会成为一种力量能源,帮助公司的业务能够朝着正确的方向,更好更快的前进;数据资产管理,涉及对数据的复用,生产,数据资产成本分析,数据资产评级等,形成系统化的功能后,可以总结,并开发出数据资产管理相关的系统或产品。

2024-02-14 17:26:06 1306

原创 浅析大数据汇总

传统,大数据主要关注数据的采集、存储和处理能力。随着互联网的快速发展,用户在互联网上产生了大量的数据,这些数据包括用户行为数据、社交媒体数据、传感器数据等。传统的数据库技术已经无法满足对这些海量数据的存储和处理需求,因此出现了分布式存储和计算技术,如Hadoop、HBase等。这些技术使得大数据的存储和处理变得更加可行,同时也带来了对数据分析和挖掘能力的需求。现阶段,大数据不再局限于数据的规模,更多地关注数据的质量、价值和应用。随着人工智能技术的快速发展,大数据与人工智能的结合成为了一个重要的趋势。

2024-01-28 22:49:31 1018

原创 浅谈大数据智能化技术在多个领域的应用实践

大数据智能化技术在当今信息社会中得到了广泛的应用。从金融、互联网电商、视频行业到垂直短视频领域,从工业互联网到云计算、边缘计算等领域,大数据智能化技术已经成为了企业竞争力的重要组成部分。技术实践、架构设计、指标体系、数据质量、数据分析、数据挖掘、数据采集、数据智能化应用、BI、AI等方面,大数据智能化技术在不同领域的应用场景和代码编写。

2024-01-21 20:51:56 1068

原创 CDN内容分发网络

CDN是内容分发网络(Content Delivery Network)的缩写。它是一种通过将内容部署到全球各地的服务器节点,使用户能够快速访问和下载内容的网络架构。简单来说,CDN通过将内容分发到离用户更近的服务器节点上,以减少传输延迟和带宽拥塞,从而提供更快速和可靠的内容传输。

2024-01-14 23:43:00 963

原创 从政府工作报告探计算机行业发展

政府工作报告作为政府工作的全面总结和未来规划,不仅反映了国家整体的发展态势,也为各行各业提供了发展的指引和参考。随着信息技术的快速发展,计算机行业已经成为推动经济社会发展的重要引擎之一。因此,从政府工作报告中探寻计算机行业的发展趋势、政策导向和未来机遇,对于行业内的企业和从业者来说具有重要的指导意义。

2024-03-20 22:40:51 649

原创 LLM~AI写AI

在当前和未来的应用场景中,我们可以看到AI技术为我们的生活带来的巨大变革和便利。然而,随着AI技术的不断发展,我们也需要关注其潜在的风险和挑战,并积极应对相关问题。从最初的概念提出,到如今的广泛应用,AI技术已经成为我们生活中不可或缺的一部分。本文将带您领略AI技术的历史、发展、当前现状以及未来趋势,并探讨其在产品和技术领域的应用。盘古大模型强调在中文领域的表现,使用了大量的中文数据进行训练,以更好地适应中文语境下的应用场景。未来,我们需要建立完善的伦理规范和法律法规,确保AI技术的合理、公正和安全应用。

2024-03-14 19:42:03 368 1

原创 浅谈数仓发展

数仓作为企业数据管理的核心架构,经历了从传统到现代的演进过程。现代新型数仓采用灵活、可扩展的技术架构,具备更好的实时性和扩展性。未来数仓将继续推动数据创新应用的发展,并与人工智能、区块链等技术相结合,开创更广阔的数据管理和洞察领域。随着技术的不断发展和应用,数仓将继续发挥着重要的作用,助力企业实现数据驱动的业务成功。

2024-02-20 23:03:14 945

原创 构建高效可靠的数据血缘技术架构-文字解说

在日益快速增长的大数据领域,了解和管理数据的来源、流向以及变化成为了一项重要任务。数据血缘分析可以帮助企业更好地了解数据的历史记录和变化过程,提高数据质量和决策的准确性。构建高效可靠的数据血缘技术架构,有助于以下几点:提高数据质量:通过了解数据的来源、流向和变化过程,可以更好地监控和管理数据质量,减少数据错误和冗余,从而提高数据的准确性和可靠性。支持决策分析:数据血缘分析可以帮助企业更好地理解数据背后的故事,为决策提供可靠的数据支持。通过追踪数据的历史记录和变化,可以更准确地评估数据对业务决策的影响。

2024-02-06 13:06:54 850

原创 软件工程师书籍推荐

推荐一些书籍,新年来了,可以卷起来,可以不上学,但是不可以不读书。(其中有几本读过一些)。

2024-01-07 23:29:41 890

原创 浅谈软件架构设计

软件架构基础知识,以及微服务架构浅谈

2024-01-05 23:04:04 1016

原创 浅谈Doris在物联网应用

本文介绍了如何使用Doris分析物联网设备数据,包含基本概念和技术实现。通过使用Doris,我们可以轻松地对物联网设备数据进行建模、导入和查询,进一步分析设备使用情况和环境变化情况,为设备维护和管理提供有力支持。同时,我们还提供了Python代码示例,帮助读者更好地理解和使用Doris。

2024-01-04 21:47:28 627

原创 机器学习几大算法总结

机器学习十大算法总结:一、朴素贝叶斯二、决策树三、随机森林四、梯度提升树五、逻辑回归六、多层感知机七、因子分解机八、卷积神经网络九、循环神经网络十、变形金刚 等。

2023-12-11 00:46:08 276

原创 JAVA算法库

java算法库总结,以及代码示例。

2023-06-09 11:48:53 49

原创 内存数据库对比

Redis、Memcached、Apache Ignite和Hazelcast都是常见的内存数据库,它们在技术架构、优缺点、应用场景、发展历史和前景等方面存在差异。选择合适的内存数据库需要综合考虑实际需求、技术特点和成本等因素,并进行充分的评估和测试。随着大数据、人工智能、物联网等技术的不断发展,内存数据库在高速数据处理场景中的应用。

2023-05-19 09:08:35 143

原创 Atlas-实现数据治理的利器

Atlas是一款强大的开源数据治理和元数据管理工具,旨在帮助组织管理其数据资产、了解数据血缘关系,并确保数据的合规性和安全性。本篇博客将深入探讨Atlas组件的各方面内容,包括应用架构、业务架构、数据架构、功能架构、技术架构等,并重点介绍其与大数据生态系统中Hadoop、Hive、HBase等组件的集成。血缘关系的采集是Atlas的核心功能之一,通过元数据管理和数据血缘追踪,用户可以了解数据的来源、传输路径和影响范围。Atlas的数据架构主要包括元数据存储和索引,用于存储和检索各种数据资产的元数据信息。

2023-04-20 20:37:48 21

原创 自动化运维工具SaltStack

Salt基于C/S架构,服务端叫Master,客户端叫Minion,Master与Minion之间通信是通过ZeroMQ消息队列。Master与Minion都以守护进程的方式运行,一直监听配置文件里面的ret_port端口(4506,接收Minion请求)和publish_port(4505,ZMQ的发布消息)。ZeroMQ使Salt能快速在成千上万台机器上进行各种操作。

2023-04-19 22:07:41 924 2

原创 Linux命令大全

Linux相关命令

2023-04-18 23:53:18 589

原创 vim命令详解

Vim是一款高度可定制的文本编辑器,广泛用于编程和文本处理。它的核心特点是基于键盘命令的操作,这使得用户能够高效地处理文本。在本篇文章中,我们将详细介绍Vim的一些基本和高级命令。

2023-04-16 23:47:55 3646

原创 日志文件数据采集组件

日志文件数据采集组件对比

2023-04-15 22:17:50 435

原创 消息中间件对比

常见消息中间件对比

2023-04-15 00:31:27 413

原创 数仓选型对比

数仓类型大致如下:"传统数仓(SQLServer、Oracle等关系型数据库)""MPP数仓(以GreenPlum为例)"Hadoop数仓

2023-04-13 23:41:39 539

原创 任务调度系统对比

调度系统对比

2023-04-12 23:45:59 691 1

原创 图数据库选型对比

常见的图数据库包括:JanusGraph、Neo4j、Dgraph、NebulaGraph、HugeGraph、OrientDB、ArangoDB、TigerGraph等。下面列举,主流和推荐的几款图数据库的简介,应用场景和架构。

2023-04-11 23:34:53 4406

原创 大数据OLAP查询引擎选型对比

目前大数据比较常用的OLAP查询引擎包括:Presto、Impala、Druid、Kylin、Doris、Clickhouse、GreenPlum等。不同引擎特点不尽相同,针对不同场景,可能每个引擎的表现也各有优缺点。

2023-04-10 22:46:25 6065 1

原创 大数据CDC技术

CDC全称是Change Data Capture,是一种捕获增量数据的技术统称,目前主要应用在捕获数据库数据变更的技术。其中数据库变更包括DDL,DML,DCL的语句触发的表更。在数据备份容灾、数据分发、面向数仓的数据集成等场景中广泛应用。在增量数据识别中,增量捕获能否实现更多依赖于源端系统。

2023-04-09 23:38:18 1436

原创 Spark简介

Spark是大数据的调度,监控和分配引擎。它是一个快速通用的集群计算平台.Spark扩展了流行的MapReduce模型.Spark提供的主要功能之一就是能够在内存中运行计算 ,但对于在磁盘上运行的复杂应用程序,系统也比MapReduce更有效。

2023-04-09 01:52:52 2174

原创 ATAM架构评估方法

软件系统架构的选择对于软件系统开发的成败至关重要,软件架构各种风格各种方法,光分层架构方法就很多,如何评估哪个软件系统架构方法更合适。CMU/SEI(卡梅隆大学软件工程协会)提出了一套架构权衡分析方法,Architecture Tradeoff Analysis Method,简称ATAM。传统软件架构评估方法按评估形式,一般分为三种。一是调查问卷法,即直接请对系统架构了解的专家学者对系统架构做出主观评估。二是度量法,即将软件系统架构完全量化,通过一些客观的数字指标来评估架构的好坏。

2023-04-07 23:13:16 1702

原创 自动化运维利器Ansible

ansible是一种比较常用自动化运维工具,基于开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。远程执行命令只需要打通节点ssh登录即可。是一个开源软件供应,配置管理和应用程序部署工具。可以管理成百上千的节点。由于python语言开发,大多数linux系统都支持良好。很多互联网公司运维团队都比较喜欢使用。

2023-04-06 22:47:30 153

原创 Arthas教程

Arthas是 Alibaba 在 2018 年 9 月开源的工具。支持 JDK6+, 采用命令行交互模式,可以方便的定位和诊断线上程序运行问题。相关官方文档十分详细,官网地址可参考:https://alibaba.github.io/arthas。

2023-04-05 20:56:52 174

原创 手把手教CDH

使用 LXC 的优点就是不需要安装太多的软件包,使用过程也不会占用太多的资源,LXC 是在 Linux 平台上基于容器的虚拟化技术的未来标准,最初的 LXC 技术是由 IBM 研发的,目前已经进入 Linux 内核主线,这意味着 LXC 技术将是目前最有竞争力的轻量级虚拟容器技术。增加的节点功能可以分为边缘节点,计算节点,主节点等,同样功能的节点也会因为服务器配置不同而需要采用不同的配置,例如不同大小的内存,硬盘等。1. Object,实体,常见的例如,server,database,table,URL。

2023-04-04 19:38:01 689

dvis-jre 运行时jre环境jar

dvis-jre 运行时jre环境jar报

2023-03-23

cdn学习总结资料汇总

cdn资源整合,个人对cdn的学习以及相关总结。不准确的地方,希望大家一起学习,分享,指正。

2013-12-20

oracle服务的批处理开启文件

通过bat选择开启oracle数据库服务,可以自己修改bat处理代码,方便开启其他服务。

2013-12-18

mysql学习资料汇总

mysql学习资料大全,帮助大家跟好的学习mysql数据库。

2012-04-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除