- 博客(522)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 增强学习和蒙特卡洛树搜索算法详细解析
阿尔法狗（AlphaGo）是谷歌旗下DeepMind开发的一个著名的增强学习算法，它在围棋领域取得了显著的成就。本文主要探讨其中两个重要的算法：增强学习算法和蒙特卡洛树搜索算法。
2023-11-16 14:23:39
802
原创 人工智能：CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的知识梳理
CNN 主要用于处理图像数据，RNN 用于处理序列数据，而 DNN 是一个通用的深度神经网络架构，可以应用于各种不同类型的数据。这些神经网络架构也可以结合使用，以解决复杂的多模态问题。
2023-10-24 17:58:05
7178
6
原创 Hadoop简介之望见数据湖
1 Hadoop概述随着信息化时代的来临，数据信息呈爆炸式增长。IBM的研究称，90%的人类文明数据是近两年产生的，而到了2020年，全球产生的数据量将是今天的44倍。传统的方法已难以应对越来越多的海量数据，因此海量数据的处理方法成为研究热点。大数据技术研究与应用推动互联网产业的快速发展，同时企业也促进了大数据技术的“新陈代谢”。在国外的计算机行业，Yahoo，Linkedin，Fackbook，eBay等企业都着手搭建Hadoop平台，努力推动Hadoop技术的发展并完善Hadoop项目。在国内，随着
2020-09-28 15:09:37
2583
2
原创 Greenplum安装时修改gpssh-exkeys中SSH免密登录端口
SSH免密登录的默认端口号为22，如果需要使用2226端口，可以修改如下地方298 def testAccess(hostname):299 '''300 Ensure the proper password-less access to the remote host.301 Using ssh here also allows discovery of remote host keys *not*302 reported by ssh-keyscan.303...
2020-09-08 14:13:29
3222
2
原创 apache paimon简介（官翻）
Apache Paimon 是一个专为大数据应用设计的多功能表存储系统。它支持批处理和流处理，通常与 Apache Flink、Apache Hive 和 Apache Spark 等工具一起使用。
2024-09-23 16:07:07
607
原创 apache doris部署添加be节点失败“ErrMsg: java.net.SocketTimeoutException: connect timed out“
Doris部署报错
2024-09-20 16:44:38
258
原创 Apache doris手动部署时报错“Please disable swap memory before installation.“
swap 分区是内核发现内存紧张时，会按照自己的策略将部分内存数据移动到配置的 swap 分区，由于内核策略不能充分了解应用的行为，会对数据库性能造成较大影响。不建议使用设置 vm.swappiness = 0 的方式，因为这个参数在不同的 Linux 内核版本会有不同的语义，很多情况下不能完全关闭。永久关闭，使用 Linux root 账户，注释掉 /etc/fstab 中的 swap 分区，然后重启即可彻底关闭 swap 分区。临时关闭，下次机器启动时，swap 还会被打开。关闭 swap 分区。
2024-09-20 10:29:28
302
原创 Java的泛型擦除
Java 的泛型通过类型擦除机制在编译时确保类型安全，并且在运行时移除泛型信息以保持向后兼容性。这虽然提供了类型安全的好处，但也带来了运行时类型信息丢失和其他一些限制，需要在使用泛型时小心处理。
2024-09-13 17:44:42
206
原创 ecmascript和javascript的区别
JavaScript 是 ECMAScript 的一种实现，而 ECMAScript 是 JavaScript 语言的标准。ECMAScript 作为标准不断演进，推动 JavaScript 语言的发展，JavaScript 则通过各大引擎实现这些标准，从而在各种平台和应用中被使用。
2024-09-13 13:55:07
357
原创 深度学习和机器学习的区别
机器学习和深度学习各有优势和适用场景。机器学习更适合处理结构化数据，计算资源需求较低，且具备良好的可解释性。而深度学习在大规模非结构化数据处理方面表现突出，适合复杂任务，但需要更多的计算资源和数据支持。
2024-09-13 13:51:59
383
原创 collocate join，bucket join，broadcast join，shuffle join对比分析
在实际应用中，根据数据规模、Join 类型和系统的性能需求，选择合适的 Join 策略非常关键。一般情况下，优先使用 Broadcast Join 进行小表与大表的 Join，如果数据已被分桶则选择 Bucket Join，Collocate Join 适用于提前计划好分区策略的场景，Shuffle Join 则作为通用方案用于无法优化的情况。
2024-09-12 15:41:11
272
原创 Azkaban、oozie、airflow、dolphinschduler 对比分析
Azkaban、Oozie、Airflow 和 DolphinScheduler 是四种常见的数据工作流调度工具，广泛应用于大数据和数据工程领域。
2024-09-12 15:33:17
1091
原创 Flink CEP（复杂事件处理）高级进阶
在 Flink CEP 中，模式定义是通过Pattern类来完成的。模式定义时，用户可以设置模式的开始事件、状态转换条件、次数限制等。
2024-09-11 17:22:14
512
原创 大数据之spark算子简介
在 Apache Spark 中，Transformation 和 Action 是两类核心算子，用于定义数据处理逻辑；PairRDDFunctions 提供了对键值对 RDD 的特殊操作；而 File System 处理则涉及与外部存储的交互。下面详细介绍每一部分。
2024-09-11 17:19:38
353
原创 大数据开发：可视化组件Redash安装部署
Redash 是一个开源的数据可视化和仪表盘平台，主要用于帮助团队更轻松地查询、可视化和分享数据。它支持与多种数据源的集成，如 SQL 数据库、NoSQL 数据库、API 等，用户可以通过简单的 SQL 查询来获取数据，并将结果以图表和仪表盘的形式展示。
2024-09-06 17:12:31
293
原创 docker 重启容器且修改服务映射端口
为了修改端口映射，你需要删除旧的容器并重新创建一个新的容器。删除容器后，可以重新启动容器，并在创建时指定新的端口映射。假设原来的容器映射的是。如果你想重新配置端口，通常需要先停止当前运行的容器。这样你就成功修改了服务的端口映射并重新启动了容器。文件中修改端口映射，然后重新启动容器。文件来管理服务，可以直接在。，现在我们要将其修改为。
2024-09-06 17:11:12
500
原创 电影人尼古拉斯凯奇的人物小传
尼古拉斯·凯奇（Nicolas Cage），原名尼古拉斯·金·科波拉（Nicolas Kim Coppola），1964年1月7日出生于美国加利福尼亚州长滩，是一位著名的美国演员和制片人。凯奇是好莱坞著名导演弗朗西斯·福特·科波拉（Francis Ford Coppola）的侄子，为了避免因家族关系而获得演艺事业的优待，他选择改姓“凯奇”。
2024-08-29 14:26:17
917
原创 Java的设计模式
在Java中，设计模式是一套被反复使用的、被多数人知晓的、经过分类编目的、代码设计经验的总结。它们是软件开发过程中为了提升代码的可维护性、可扩展性和可重用性而采用的解决方案。
2024-08-29 09:47:46
893
原创 设计模式之工厂模式和策略模式的区别
工厂模式关注于对象的创建，隐藏了具体产品类的实例化逻辑；策略模式关注于算法或行为的封装，通过接口允许不同算法互换使用。
2024-08-29 09:40:04
274
原创 apache Doris中的物化视图和rollup表
物化视图 在 Doris 中提供了更强大的查询优化能力，支持复杂的 SQL 查询语法，是优化复杂查询和数据分析的强大工具。Rollup 表则更适合简单的聚合查询优化，能够在较少的存储成本下提高查询性能。
2024-08-28 17:12:54
743
原创 apache Doris的逻辑视图和物化视图
逻辑视图 是一种轻量级的视图，它的优势在于不占用额外的存储空间，并能实时反映数据变化，但其性能可能较差。物化视图通过预计算和存储来大幅度提升查询性能，适用于需要快速响应的复杂查询场景，但它会占用额外的存储空间。
2024-08-28 17:09:33
334
原创 Apache Doris 使用 CBO 和 RBO 结合的优化策略
Apache Doris 的查询优化器结合了基于规则的优化器（Rule-Based Optimizer, RBO）和 基于代价的优化器（Cost-Based Optimizer, CBO），以实现高效的查询执行计划生成。这种策略充分利用了 RBO 的高效性和 CBO 的灵活性，为不同类型的查询提供了最佳的性能优化。
2024-08-27 17:04:53
380
原创 Apache Doris 采用了自适应查询执行（Adaptive Query Execution）技术
Apache Doris 通过自适应查询执行（AQE）和 Runtime Filter 技术，极大地增强了查询优化的灵活性和效率。AQE 能够根据实时的运行时信息动态调整查询计划，适应复杂多变的数据场景。而 Runtime Filter 则通过在查询执行过程中动态生成和应用过滤条件，显著减少了数据处理量和 I/O 开销，提升了查询性能。结合这两者，Apache Doris 能够在大规模数据分析中提供高效、灵活的查询处理能力，是一种非常强大的查询优化技术。
2024-08-27 16:55:14
159
原创 电影中的声音表达
电影中的声音构成不仅仅是对画面的补充，更是叙事的核心组成部分之一。不同的声音元素协同工作，可以大大增强影片的情感深度、叙事效果和观众的沉浸体验。通过对白传达信息，音效增加真实感，环境音建立氛围，音乐引导情感，而静音与音频对比则通过其独特的表现方式，强化叙事和情感表达。优秀的电影创作者往往对声音设计给予极高的重视，因为声音不仅能丰富电影的叙事层次，还能在视觉无法传达的地方，用声音创造出一个更为立体和感人的电影世界。
2024-08-23 15:53:22
925
原创 电影中的构图
电影中的构图不仅仅是关于如何让画面看起来美观，更重要的是它通过视觉设计传递故事情节、情感和主题。不同类型的构图可以影响观众的情绪、引导视线、塑造角色关系、并加强影片的叙事效果。优秀的电影制作人在构图设计上往往极其用心，通过对每一个画面的精心安排，将电影从简单的视觉呈现提升为深刻的艺术表达。
2024-08-23 15:42:34
896
原创 电影中的过肩镜头表达
过肩镜头是电影中一种非常有效的视听语言工具，它不仅能够强化角色之间的情感交流，还能通过构图、视角和镜头切换来引导观众的注意力、表现权力关系、制造紧张感等。这种镜头语言在电影中应用广泛，能够巧妙地增强叙事的层次感和观众的情感体验。
2024-08-23 15:27:02
594
原创 电影如何运用镜头语言表达人物的情绪变化？
通过这些镜头语言，导演可以在观众心中种下特定的情绪和心理暗示，使得电影不仅仅是叙述故事，更成为一种感官与情感的综合体验。
2024-08-23 15:17:17
796
原创 java集合中自动排序的treeset和treemap
`TreeSet` 和 `TreeMap` 都是基于红黑树的数据结构，能够提供自动排序的集合操作。`TreeSet` 适用于存储有序且不重复的元素集合，而 `TreeMap` 适用于存储有序的键值对。红黑树的平衡性确保了这些集合类在进行插入、删除和查找操作时的高效性。`TreeSet` 和 `TreeMap` 是 Java 集合框架中用于存储有序数据的集合类，它们都基于红黑树实现，并且提供了自动排序功能。
2024-08-21 14:53:57
421
原创 java中的Collections
Java 的集合框架 (Java Collections Framework) 是 Java 标准库中用于存储和操作数据的一个重要部分。它包括了多个接口和类来支持集合操作，如添加、删除、遍历和排序等。
2024-08-21 14:13:50
515
原创 Java代码中的private static final long serialVersionUID = -1L作用
`private static final long serialVersionUID = -1L;` 是 Java 类中的一个字段声明，通常用于实现 `Serializable` 接口的类中。
2024-08-20 11:17:16
58
原创 Apache Doris 的 Incremental Read增量读取，数据合并，数据清理
Incremental Read（增量读取）是 Apache Doris 用来提高查询效率的一个重要功能。它的核心思想是通过增量地读取和处理数据，减少不必要的数据扫描，从而加速查询的执行。这个功能特别适用于那些数据更新频繁但查询侧重于最新数据的场景。
2024-08-15 14:36:23
322
原创 apache huidi 时间旅行Time Travel）机制
Apache Hudi 的时间旅行功能主要依赖于提交日志、基础文件与增量日志的结合，以及通过合并与压缩来管理数据的多个版本。索引机制则进一步提高了查询的效率。通过这些机制，Hudi 能够实现高效的时间旅行查询，允许用户访问数据的历史版本。
2024-08-15 14:20:35
418
seatunnel 支持hive jdbc
2023-07-28
dataCollection安装jar包0.07版本
2023-01-16
hbase-manager安装包，已编译
2022-11-14
大数据之湖仓一体，未来如何发展
2024-04-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人