- 博客(10)
- 收藏
- 关注
RSS订阅原创 剑指大数据——Flink学习精要（Java版）
本书基于Flink的稳定版本1.13，从Flink数据处理思想开始讲解，带领读者深入理解Flink的基本架构，进而由浅入深，结合具体案例，详细剖析了Flink中DataStream API的使用，并对Flink中的时间语义、状态、容错机制等重要概念进行了详尽的阐述。另外，本书还对实际开发中常用的Flink SQL、CEP等高层级API进行了细致的讲解，以电商网站中的实际应用为场景，提供了大量的代码实现。
2023-03-16 09:32:28
702
原创 如何高效学习分布式系统？
什么是分布式系统在软件开发的过程中，我们越来越多地接触到“分布式系统”这一概念。然而，学术界对分布式系统的定义并不统一。有学者称：这是一个其硬件或软件组件分布在联网的计算机上，组件之间通过传递消息进行通信和动作协调的系统。也有学者认为：这是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。显然，这些定义都可以涵盖分布式系统，但又过于宽泛和模糊，与软件开发者日常讨论的分布式系统的概念相差甚远。“分布式系统”也常被称为“分布式应用”，包含了信息一致的节点集群、狭义分布式应用
2022-03-22 14:37:11
283
原创 直播预告|数据分析驱动的IT运维
进入大数据时代，IT运维工程师都不可避免地与数据分析打交道。每位IT运维工程师要想在基础运维工作之外，体现IT运维的价值，那么在数据分析领域，有很多可以探索的内容。这是谷歌 Dapper 系统开发者，lightstep 创始人Daniel Spoonhower对可观测性三大支柱的解释。（本图来自Daniel Spoonhower 对可观测性三大支柱的解释）可以看到，可观测性三大支柱包括指标、日志、调用链，这三者之间既有不同，又互相联系。那么，我们运用这些运维数据能做什么呢？3月1
2022-03-17 13:20:19
2671
原创 大数据预处理方法，来看看你知道几个
大数据蕴含巨大价值，引起了社会各界的高度关注。大数据的来源多种多样，从现实世界中采集的数据大体上都是不完整、不一致的脏数据，无法直接进行数据挖掘和分析，或分析挖掘的结果差强人意。为了提高数据分析挖掘的质量，需要对数据进行预处理。数据预处理方法主要包括数据清洗、数据集成、数据转换和数据消减。1 .数据清洗现实世界的数据常常是不完全的、含噪声的、不一致的。数据清洗过程包括缺失数据处理、噪声数据处理，以及不一致数据处理。对于缺失的数据，可以采用忽略该条记录、手动补充缺失值、利用默认值填补缺失值、利用均值填
2021-11-11 10:31:45
8337
原创 吐血整理：常用的大数据采集工具，你不可不知
大数据的来源多种多样，在大数据时代背景下，如何从大数据中采集出有用的信息是大数据发展的最关键因素。大数据采集是大数据产业的基石，大数据采集阶段的工作是大数据的核心技术之一。为了高效采集大数据，依据采集环境及数据类型选择适当的大数据采集方法及平台至关重要。下面介绍一些常用的大数据采集平台和工具。1 FlumeFlume作为Hadoop的组件，是由Cloudera专门研发的分布式日志收集系统。尤其近几年随着Flume的不断完善，用户在开发过程中使用的便利性得到很大的改善，Flume现已成为Apache To
2021-11-11 10:17:12
1123
原创 这本少见的大数据采集与处理书，到底讲了啥？
计算技术的进步，以及移动互联网、物联网、5G移动通信技术的发展，引发了数据规模的爆发式增长。大数据蕴含巨大价值，引起了社会各界的高度关注。大约从2009年开始，“大数据”成为互联网信息技术行业的流行词汇。在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。大数据时代将在众多领域中掀起变革的巨浪。在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。大数据的能量是不可估量的，比如在2020年，大
2021-10-27 15:48:27
900
转载 学习人工智能需要掌握哪些数学知识？
当下，人工智能成了新时代的必修课，其重要性已无需赘述，但作为一个跨学科产物，它包含的内容浩如烟海，各种复杂的模型和算法更是让人望而生畏。对于大多数的新手来说，如何入手人工智能其实都是一头雾水，比如到底需要哪些数学基础、是否要有工程经验、对于深度学习框架应该关注什么等。那么，学习人工智能该从哪里开始呢？人工智能的学习路径又是怎样的？线性代数必备的数学知识是理解人工智能不可或缺的要素，今天的种种人工智能技术归根到底都建立在数学模型之上，而这些数学模型又都离不开线性代数（linear algebra）的理论
2021-07-28 17:14:49
1583
原创 零信任网络安全——软件定义边界SDP技术架构指南
基本原理+应用场景+落地实施，结合国内特点进行零信任架构技术指导。近年来，国内信息与通信技术（ICT）发展迅速，各企业将新技术应用于商业环境，推动了其数字化应用与发展。与此同时，也出现了许多信息安全方面的问题，如用户信息泄露和盗用、病毒引起的数据丢失、外部攻击导致的业务停顿等，对企业和社会的发展产生了极大影响。确保企业日益复杂的IT系统能够长期、安全、可靠运转成为众多企业IT决策者面临的巨大挑战。另外，随着以《中华人民共和国网络安全法》颁布为标志的一系列法律法规及各类标准的推出，网络安全上升为重要国家战略
2021-07-01 11:01:38
4475
1
原创 读书笔记|智能运维系统落地方案
对于互联网公司来说，系统复杂化导致的人工运维成本激增已经是普遍现象，采用智能运维是行之有效的应对策略。智能运维的核心思想是利用算法来处理海量运维数据，积累运维经验，从而代替人工思考判断，以自动化的过程实现风险的预防、发现、定位和处理。而智能运维系统是其中的重中之重，但建设企业应用智能运维系统，不是应用运维部独立规划设计就可以完成的，它需要业务、产品、开发、基础设施运维多部门协同才能顺利实施。那么，作为运维人员，您是否了解智能运维系统的架构？如果参与规划建设智能运维系统，该怎么着手呢？下面我们立足实际需求
2021-01-27 16:38:21
414
原创 在这里，搞定应用智能运维
在这里，搞定应用智能运维第三次信息技术浪潮我们正处在第三次信息技术浪潮到来的前夕，如今，几乎所有企业都面临如何利用新一代信息技术对外提升企业客户价值、对内优化生产流程的问题。虚拟化、云计算、大数据、物联网、人工智能、区块链等新技术如雨后春笋，新一代信息技术在金融、汽车、医疗等各行业落地应用的案例也层出不穷。以智能、互联为主要特征的第三次信息技术浪潮将在提升生产力的同时，改变应用及其运维方式。物联网（Internet of Things，IoT）、车联网（Internet of Vehicle，IoV
2021-01-27 16:11:21
247
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人