- 博客(166)
- 收藏
- 关注
RSS订阅
原创 详细介绍区块链之挖矿
从某种角度来看，挖矿确实可以看作是模拟攻击的过程，因为它展示了篡改区块链所需的计算难度。但它们的目的和结果是不同的。挖矿是为了支持和维护区块链网络，而攻击则是为了获得非法利益。通过维持一定的挖矿难度，我们确实可以增加区块链的安全性，使其不容易受到攻击。（其实不一定对，因为这个是作者自己的想法）
2023-10-06 09:59:19
3299
2
原创 LoRa无线通讯入门
LoRa（Long Range）是一种低功耗广域网（LPWAN）技术，主要设计用于连接低功率设备如传感器和定位器等，这些设备需要发送小数据包信息到相对较远的距离，而且通常工作在独立的电池上。
2024-05-06 18:00:31
1293
1
原创 并行墙与内存墙
在计算机科学和性能工程领域，术语“并行墙”（Parallelism Wall）和“内存墙”（Memory Wall）描述了两种影响计算机系统性能的重要瓶颈或限制。
2024-05-06 17:47:13
473
原创 计算机网络之CIDR
当你看到一个CIDR表示法，如，它。/32表示所有32位都是网络部分，没有主机部分，因此它指的是单一的IP地址。：当CIDR用来表示一个网络时，例如，这里的/24意味着前24位是网络地址，后8位是主机地址。这样的表示法实际上涵盖了从到的256个IP地址。
2024-04-15 22:45:11
640
原创 云计算与大数据课程笔记（十）之容器技术与云原生辅助笔记
Docker容器可以在任何地方运行，这减少了对特定云提供商的依赖，实现了真正的“编写一次，处处运行”。
2024-04-15 22:44:44
896
原创 计算机网络之数据链路层协议相关笔记
以太网技术最初是在1970年代末由Xerox PARC(帕洛阿尔托研究中心)开发的。Robert Metcalfe和他的团队设计了以太网作为一种局域网技术，用于连接计算机以便于共享资源和信息。1980年，Digital Equipment Corporation (DEC)、Intel和Xerox（称为“DIX”）共同制定了，例如帧格式和服务访问点(SAP)。IEEE 802.3标准的出现是为了促进局域网技术的标准化和兼容性，确保不同制造商的设备能够在同一个网络中无缝协作。所以，。
2024-04-10 09:37:39
534
原创 云计算与大数据课程笔记（九）之虚拟化技术（下）
内存复用技术是操作系统中用来高效管理和优化内存资源的一组策略。这些技术旨在提高内存利用率，减少物理内存的需求，并确保系统运行时的高性能。
2024-04-09 09:22:39
1478
原创 Pycharm中如何成功import cv2？
在Python中使用cv2（OpenCV库）之前，需要确保已经安装了包。安装完成后，可以在Python脚本中通过简单地导入cv2import cv2这样就可以使用OpenCV提供的各种图像和视频处理功能了。如果还想使用OpenCV的高级功能，比如使用SIFT、SURF等特征检测算法，还需要安装请注意，和包不应该同时安装在同一个环境中，因为opencv-contrib-python。根据需要选择合适的包进行安装。
2024-04-09 09:17:03
1978
原创 云计算与大数据课程笔记（八）之虚拟化技术（上）
Hypervisor，也称为虚拟机监视器（VMM），是服务器虚拟化中的核心软件。它允许多个操作系统在同一台物理服务器上并行运行，每个操作系统都在自己的虚拟机内运行，并且彼此隔离。Hypervisor负责分配硬件资源给每个虚拟机，如CPU时间、内存空间等，并确保虚拟机之间不会相互干扰。
2024-04-08 19:45:54
1593
原创 连入门都不算的Kylin相关概念畅谈！
Kylin 通过将 MOLAP 的优势（如预计算的立方体）与即席查询的需求相结合，提供了一种高效的分析解决方案。这使得它特别适合需要快速响应大数据量即席查询的场景。Kylin 的设计考虑了大数据环境下即席查询的性能挑战，通过智能的预计算和数据组织方式，优化了查询效率，同时保持了用户查询的灵活性。因此，尽管即席查询本质上是动态和未预定义的，Kylin 通过预计算立方体的方法，成功地解决了在大规模数据集上进行快速、灵活分析的挑战。多维数据虽然更适合于预计算的查询，但是我们可以先将多维数据预计算，
2024-04-04 13:34:22
1059
原创 计网数据链路层的透明传输技术——字节填充、字符填充和零比特填充
字节填充是数据链路层的一种透明传输技术，用于处理以字节为单位的异步通信中的特殊控制字符（如ESC、SOH、EOT等）。其主要思想是在数据字段中出现控制字符的前面插入一个特殊的转义字符（如ESC），这样接收端在解析数据时就可以区分正常数据和控制字符。比如，如果原始数据中出现了一个EOT字符（假设用于标记数据的结束），发送端会在这个EOT字符前面添加一个ESC字符。接收端在接收到这个序列时，就知道紧跟在ESC后面的EOT是数据的一部分，而不是结束标记。
2024-04-02 08:46:29
1113
原创 云计算与大数据笔记之Spark【重点：流水线机制】
Spark的设计遵循“一个软件栈满足不同应用场景既能够提供内存计算框架，也可以支持SQL即时查询、实时流式计算、机器学习和图计算等。Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。因此，Spark所提供的生态系统足以应对上述三种场景，即同时支持批处理、交互式查询和流数据处理。所以Executor和CPU的流水线还是不一样，前者是串行流水线，后者是并行流水线。而在多核情况下，Executor是并行流水线并且线程之间相互独立，CPU是并行中的并行流水线。
2024-04-02 08:34:10
1325
原创 Flume进阶学习！
Flume 的是用于决定一个事件 (Event) 应该被发送到哪一个或哪些Channel的组件。这种逻辑上的多路复用，其实就是在同一个Source源数据路径中，实现不同性质或者不同处理逻辑的事件同时传输，这种复用相当于将Selector和多个Channel结合形成多种逻辑上的Source源数据路径，但其实只有一个Source源数据路径。实现了数据按需分发，极大地增强了大数据处理和日志收集系统的能力。
2024-04-01 09:15:13
994
原创 在Flink中，什么是背压Backpressure？
在分布式流处理系统中，Backpressure（背压）是一个重要的概念，用于的处理系统中不同速率产生和处理数据问题。当数据的生成速率超过处理速率时，未经处理的数据会在系统中积累，可能导致内存溢出或其他资源瓶颈。，以避免这种情况。下面我们分别看看在 Spark 和 Flink 中 Backpressure 是如何工作的。
2024-03-23 19:45:05
648
1
原创 Kafka 3.x（上）
线性增长的、不可变的提交日志消息Record 以键值对的形式进行存储：如果key不指定则默认为空#，此时生产者会以轮询的方式把消息写到不同的队列中。有key的话生产者借助于分区器来分区，key同分区同。
2024-03-22 14:47:25
1260
1
原创 Flink入门知识点汇总（二）
具体内容请看b站课程！Flink的窗口并不是静态准备好的，而是动态创建的。数据流到达时不会准备24个或者其他完整数量的桶，而是当下桶接满了，才临时又拿新桶。本质原因就是Flink是事件驱动型的计算引擎，数据流是未知而隐秘的。滚动和滑动都是可以基于时间和数量的，但是会话窗口只能是基于时间。会话这个概念没有基于数量的。注意这一点很重要：一般的业务日志数据都含有时间戳！
2024-03-22 14:28:27
1378
原创 浅浅了解一下怎么给一整个集群安装部署软件/环境！
有几种方法可以实现对多台机器的并行控制和自动化部署，从而无需手动在每台机器上运行部署命令（支持从零开始）
2024-03-21 10:43:21
966
原创 Flink入门知识点汇总（一）
Master是Spark的进程， Driver 是运行用户应用程序的进程。在一个 Flink 集群中，通常会有多个 TaskManager 实例，每个 TaskManager 可以运行在不同的机器上，故可以配置每个 TaskManager 的 Slot 数量为其所在机器的 CPU 核心数（每台机器通常运行一个 TaskManager 实例，和Hadoop的DataNode一样）每个slot内部是不间断地并行运行同一个作业中的不同算子链的任务，不是内部串行，每一个算子链的进度都是时刻在变且相互之间没有联系。
2024-03-21 10:42:18
861
原创 云计算与大数据课程笔记（七）之“冷门“的Hadoop奇思妙想笔记
在 Hadoop 集群中，机架感知（Rack Awareness）是优化数据存储、访问速度和集群可靠性的关键特性。理解，有助于深入了解 Hadoop 的数据复制策略和故障恢复机制。
2024-03-18 21:48:18
1280
原创 云计算与大数据课程笔记（六）之Apache Tez/Pig辅助笔记
Apache Tez 是一个为 Hadoop 集群设计的通用数据处理框架，。Tez 通过允许复杂的数据流图来表示数据处理任务，提高了在 YARN（Yet Another Resource Negotiator）上执行这些任务的灵活性和效率。
2024-03-18 21:47:56
1528
原创 TCP连接中的TIME-WAIT和2MSL在干啥？
双向清理：2MSL的时间长度不仅考虑了单个报文段在网络中的最大生存时间（MSL），而且还考虑了往返时间（RTT）。这意味着即使一个报文段在网络中的存在时间接近MSL，等待2MSL的时间也足以处理其往返的情况，确保所有报文段都已经从网络中消失，包括最后一个ACK的确认和可能的重传。
2024-03-16 21:35:39
977
原创 一文搞懂TCP连接中的序号seq和确认应答号ack！（新手向）
在TCP（传输控制协议）中，序号（Sequence Number，简称seq）和确认应答号（Acknowledgment Number，简称ack）是协议头部非常关键的字段，它们共同确保了TCP的可靠性和数据按顺序传输的特性。
2024-03-16 21:21:18
4173
1
原创 计算机网络之网络层概念整理（下）
软件定义网络（Software-Defined Networking, SDN）是一种创新的网络架构，旨在使网络更加灵活和可编程。SDN通过将网络的控制层（决定数据包如何在网络中流动的逻辑）与数据层（实际转发数据包的硬件）分离，实现了对网络设备的集中式管理。这种分离使网络管理员能够通过软件应用程序快速调整网络行为，而不是手动配置硬件设备。
2024-03-14 19:45:58
1170
原创 云计算与大数据课程笔记（五）之AWS云计算框架辅助笔记
Amazon Dynamo是Amazon Web Services (AWS) 提供的一个，它是为了实现高度可扩展的分布式数据存储而设计的。DynamoDB，一个受Dynamo启发的数据库服务，后来成为了AWS提供的完全托管的NoSQL数据库服务。
2024-03-12 08:48:24
1155
原创 云计算与大数据课程笔记（四）之Google云计算框架辅助笔记（下）
Megastore是Google为了解决而开发的。它能在保持数据一致性的同时，支持跨全球多个数据中心的分布式部署。通过组织数据成实体组，Megastore既提供了事务性支持，也实现了良好的扩展性。
2024-03-11 21:13:04
1215
原创 云计算与大数据课程笔记（三）：为什么说HTTP协议是无状态的，而购物车是有状态的？
HTTP 协议被设计为无状态协议，这意味着。每个HTTP请求都被视为一个独立的事务。这种设计简化了服务器和客户端之间的交互，因为。
2024-03-11 20:18:48
1234
原创 什么是移动计算？中国Java之父余胜军被刷爆的CDN又是什么？
移动计算通常指的是的概念。。因此，移动计算到数据附近可以提高效率，减少延迟，并优化资源使用。
2024-03-10 09:56:55
1513
原创 云计算与大数据课程笔记（二）之Google云计算框架辅助笔记（上）【重点：高可用和高容错的区别】
在GFS中，Chunk默认大小是64MB。作者在参加云计算相关竞赛时发现有题目说Hadoop的Block默认是64MB，这和作者之前学的128MB不太一样，故进行以下整理：在Hadoop分布式文件系统（HDFS）中，。不过，这个值是可以配置的，具体取决于你使用的Hadoop发行版本以及系统的配置。在Hadoop的较新版本中（例如2.x及之后），默认的块大小确实是128MB。。块大小可以在Hadoop的配置文件中自定义设置，通常在文件中配置属性来指定。例如，要设置块大小为128MB，可以在。
2024-03-08 12:07:14
1069
原创 分组交换技术的两种实现方式及接入网AN
分组交换技术是现代计算机网络中数据传输的基础，它允许数据被分割成小的数据包（或分组），这些数据包独立地通过网络传输到目的地，然后再重新组装成原始数据。。这两种方式在数据传输、路由选择、可靠性等方面有着根本的差异。
2024-03-04 20:16:14
1140
原创 不知道RAID/SAN/NAS的小可爱来看看这个吧！
RAID（冗余阵列的独立磁盘，Redundant Array of Independent Disks）是一种将多个磁盘驱动器组合成一个或多个单元的技术，目的是在提高数据可靠性和/或提升性能的同时，对操作系统隐藏底层的复杂性。简而言之，
2024-03-04 14:15:33
1170
原创 Scala重要知识
函数柯里化是一种将接受多个参数的函数转换成接受一个单一参数（最初函数的第一个参数）的函数，并返回接受余下的参数且返回结果的新函数的技术。这个技术由数学家Haskell Curry命名，它在函数式编程中非常有用，特别是在需要部分应用函数的场景。
2024-03-01 21:36:01
1065
2
原创 学了Hadoop之后，如何快速理解Spark？
Apache Spark 是一个开源的分布式计算系统，由加州大学伯克利分校的AMPLab（现在的RISELab）最初开发，旨在。Spark 是为了克服 Hadoop MapReduce 模型在某些数据处理任务上的局限性（如迭代算法和交互式数据挖掘任务）而设计的。Spark 提供了一个强大的编程模型和丰富的生态系统，支持多种数据分析和机器学习任务。
2024-02-28 08:02:04
1767
原创 云计算与大数据课程笔记（一）云计算背景与介绍
云计算是一种革命性的技术，它改变了企业和个人获取和使用计算资源的方式。作为一种工业界的导向，云计算提供了一种商业服务，通过大量计算机构成的分布式系统资源，形成了资源池，允许用户按需访问计算力、存储空间和各种服务，而无需关心底层的物理硬件。云计算作为一种商业服务，通过虚拟化技术和分布式系统将庞大的计算资源汇集成资源池，为用户提供按需可扩展的服务。它在不同的行业和领域内发挥着重要作用，无论是支持电商平台的大规模运营，还是为政府部门提供云服务，云计算都在推动着数字化转型和技术创新。
2024-02-28 08:00:57
1481
原创 微信电话是如何收费的呢？
当我们谈论使用微信电话和视频通话等互联网通信服务时，与传统的打电话（通过电信网络的语音通话）是不同的收费模式。：这是基于的，通常涉及到每分钟通话费用或者套餐内包含的通话分钟数。这种费用是电信公司根据使用的通话时间来收取的，与电信网络的使用直接相关。。这里的费用源自互联网服务提供商（ISP）或移动数据服务提供商，他们根据购买的数据套餐或宽带服务来收费。如果通过使用这些服务，那么成本就是支付给；如果您通过使用，那么成本就是您支付给。
2024-02-27 11:15:27
735
原创 一文搞懂困扰已久的IP问题，为什么IP能推断出我们的地理位置？
IP地址的动态分配通常是通过来实现的。当一台设备（如智能手机、笔记本电脑等）连接到一个网络时（例如通过Wi-Fi或以太网），它会向网络上的DHCP服务器发送一个请求，询问一个IP地址。，会从中选择一个未被使用的地址分配给该设备，，供其他设备使用。
2024-02-27 08:35:41
1173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人