- 博客(97)
- 问答 (2)
- 收藏
- 关注
原创 数据仓库(13)大数据数仓经典最值得阅读书籍推荐
从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。书籍推荐《数据仓库工具箱(第3版)——维度建模权威指南》本书会介绍基本知识,然后逐个讨论具体实例内容,最后进行综合总体分析,在内容的结构方面很有特色。本书涉及的行业较多,但这些内容从不同角度体现了数据仓库的各个方面,因而对于完整的学习与掌握数据仓库知识显得十分必要。这本书是数据维度建模的鼻祖,从这个意义上讲,就挺有
2022-05-10 12:16:38 2094 2
原创 一分钟搭建Ghost个人网站博客系统
Ghost 是一款设计简约、主题精致的个人博客系统,Ghost支持多用户创建和编辑,支持Markdown格式撰写文章,编辑的内容可即时预览。
2024-08-29 16:16:07 345
原创 OpenAI 将向企业开放 GPT-4o 模型定制版
这一新功能的推出使得企业能够使用自己的数据对 GPT-4o 模型进行个性化调整,以满足他们的特定需求和业务场景。与此前不同,GPT-4o 的企业客户现在可以对模型进行细化训练,而这在之前的版本中是不可实现的。然后,模型将在这些数据的基础上接受额外训练。举例来说,一家生产滑板的公司可以微调 GPT-4o 模型,使其成为客户服务聊天机器人,能够解决客户关于滑板轮子、护理方法等非常具体的需求。尽管如此,OpenAI 的这一创新仍为企业带来了极大的灵活性,帮助他们根据具体业务需求优化和扩展 GPT-4o 的能力。
2024-08-21 16:31:17 432
原创 如何使用midjourney?MidJourney订阅计划及国内订阅教程
如何使用midjourney?MidJourney订阅计划及国内订阅教程
2024-08-20 10:54:53 463
原创 2024年个人云服务器云主机最新选购攻略,哪个云服务器性价最比高
在2024年,选择一款性价比高的云服务器对企业和开发者来说至关重要。今年的云服务器市场价格战分外激烈,几十块一年的比比皆是。选择合适的云服务器不仅需要考虑配置、服务商的技术实力,还要关注价格、全球覆盖和优惠活动。阿里云、腾讯云、京东云和UCloud都提供了高性价比的解决方案,适合不同规模和需求的用户。根据具体的业务需求和预算,合理选择最合适的云服务器,可以有效提升企业的性价比和业务连续性。
2024-08-19 09:26:09 339
原创 怎么在Ubuntu系统云服务器搭建自己的幻兽帕鲁服务器?幻兽帕鲁搭建教程
幻兽帕鲁》是一款备受瞩目的开放世界生存建造游戏,近期在游戏界非常火爆。玩家可以在游戏世界中收集神奇的生物“帕鲁”,并利用它们进行战斗、建造、农耕、工业生产等各种活动。与其他开放世界游戏不同,要想实现多人联机游戏,玩家需要自行搭建服务器。
2024-08-04 15:30:13 892
原创 如何在Linux云服务器上通过Docker Compose部署安装Halo,搭建个人博客网站?
Halo 2有时候没有及时的更新Docker的latest标签镜像,因为Halo 2不兼容1.x版本,防止使用者误操作。按照Docker官方文档安装Docker和Docker Compose,部分Linux发行版软件仓库中的 Docker版本可能过旧。从 Halo 2.8 开始,Halo 内置了备份和恢复的功能,可以在 Console 中一键备份和恢复完整的数据。此文档以 ~/halo为例,后续操作中,Halo 产生的所有数据都会保存在这个目录。**选择,如果你是个人博客选择性价比最高,最低配置就够用了。
2024-07-31 13:01:53 899
原创 使用Nginx Proxy Manager配置Halo的反向代理和申请 SSL 证书
本文介绍Nginx Proxy Manager配置Halo的反向代理和申请 SSL 证书,如需要了解Halo 2的安装,参考****。
2024-07-30 15:54:59 722
原创 Hive怎么调整优化Tez引擎的查询?在Tez上优化Hive查询的指南
在Tez上优化Hive查询无法采用一刀切的方法。查询性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试过程中,应评估和验证配置参数及任何SQL修改。建议在工作负载的性能测试过程中一次只进行一项更改,并最好在开发环境中评估调优更改的影响,然后再在生产环境中使用。
2024-06-20 19:44:08 1279
原创 Elasticsearch如何聚合查询多个统计值,如何嵌套聚合?并相互引用,统计索引中某一个字段的空值率?语法是怎么样的
Elasticsearch聚合查询是一种强大的工具,允许我们对索引中的数据进行复杂的统计分析和计算。本文将详细解释一个聚合查询示例,该查询用于统计满足特定条件的文档数量,并计算其占总文档数量的百分比。这里回会分享如何统计某个字段的空值率,然后扩展介绍ES的一些基础知识。
2024-06-19 18:10:51 1141
原创 自媒体必用的50 个最佳 ChatGPT 社交媒体帖子提示prompt通用模板教程
在这个信息爆炸的时代,社交媒体已经成为我们生活中不可或缺的一部分。无论是品牌宣传、个人展示,还是日常交流,我们都离不开它。然而,要在众多信息中脱颖而出,吸引大家的关注并不容易。这时候,ChatGPT这样的AI写作工具就显得特别有用了。ChatGPT不仅能帮你快速生成高质量的内容,还能给你带来创意灵感,让每一个社交媒体帖子都变得与众不同。不管你是想写一个吸引眼球的标题,还是想问个有趣的问题,或者分享一句励志的名言,ChatGPT都能帮你搞定。
2024-05-31 12:50:08 1179
原创 Notion是什么,Notion软件下载,Notion官方网站在哪里?国内用户Notion怎么订阅升级会员?
Notion,一款强大的多功能工具,可用于组织笔记、任务、项目、数据库和文档等。
2024-04-29 13:39:30 723
原创 GPT-5:更强的ChatGPT!将在高级推理功能上实现重大进步!GPT-5有哪些功能作用?
自 Claude 3 发布以来,外界对 GPT-5 的期待越来越强。毕竟Claude 3已经全面超越了 GPT-4,成为迄今为止最强大模型。GPT-5:更强的ChatGPT!将在高级推理功能上实现重大进步!国内怎么使用?
2024-04-02 12:43:56 626
原创 Python win32com.client.Dispatch打开Word文档并导出为 PDF时失败Command failed
Python win32com.client.Dispatch打开Word文档并导出为 PDF时失败Command failed。解决办法,查看任务管理器,然后找到word应用的进程,杀死即可。解决办法,就是先判断路径是否存在,不存在就创建。
2024-03-12 14:38:05 1146 1
原创 ClickHouse(24)ClickHouse集成mongodb表引擎详细解析
ClickHouse(24)ClickHouse集成mongodb表引擎详细解析。MongoDB 引擎是只读表引擎,允许从远程 MongoDB 集合中读取数据(引擎只支持非嵌套的数据类型。— MongoDB 服务器地址.— MongoDB 用户.
2024-01-30 20:04:30 1519
原创 ClickHouse(23)ClickHouse集成Mysql表引擎详细解析
MySQL引擎可以对存在远程MySQL服务器上的数据执行SELECT查询。host:portdatabasetableuserpasswordINSERT此时,简单的WHERE子句(例如)是在MySQL服务器上执行。其余条件以及LIMIT采样约束语句仅在对MySQL的查询完成后才在ClickHouse中执行。MySQL引擎不支持NULL值,因此,当从MySQL表中读取数据时,NULL将转换为指定列类型的默认值(通常为0或空字符串)。
2024-01-28 11:02:34 1563
原创 ClickHouse(22)ClickHouse集成HDFS表引擎详细解析
如果指定了hadoop_kerberos_keytab, hadoop_kerberos_principal或者hadoop_kerberos_kinit_command,将会调用kinit工具.在此情况下,hadoop_kerberos_keytab和hadoop_kerberos_principal参数是必须配置的.kinit工具和 krb5 配置文件是必要的.数据节点的安全通信无法由SASL保证 ( HADOOP_SECURE_DN_USER 是这种安全方法的一个可靠指标)。创建具有名为文件的表。
2024-01-27 13:55:44 1561
原创 GPT4.5人工智能即将来临,ChatGPT的正面影响和负面影响(好处和坏处),利弊分析
我们必须意识到ChatGPT的出现是人工智能进步的必然产物。我们不能因为恐惧和忧虑而选择避开或反对这项技术的进步。相反,我们应积极地学习和掌握这项技术,寻找将其应用到自身领域的方法,以提升工作效率和质量。同时,我们也要重视人工智能技术的伦理问题和社会影响,制定合理的政策和标准,确保技术的进步符合社会和道德的利益。ChatGPT的影响既有利也有弊。我们需要以积极的心态来应对这项技术的挑战和机遇,通过学习和应用这一技术来提升我们的工作和生活品质。
2024-01-26 19:27:15 1569
原创 什么是ChatGPT,什么是大模型prompt
ChatGPT是一个由美国的OpenAI公司开发的聊天机器人,它使用了大型语言模型,现在有GPT-3、GPT-3.5、GPT-4.0多个版本,目前还在快速发展,通过监督学习和强化学习进行了微调。它可以根据用户的提示执行各种语言任务,例如回答问题、编写或调试代码、创作音乐和文本等。目前ChatGPT广义上已经是一个代名词,指代通过大型语言模型,开发出的智能聊天机器人,国内的大公司,目前通过大模型也出了很多相应的应用,比较出名的有百度的文心一言、阿里的通义千问、华为的盘古大模型、以及讯飞的星火等。
2024-01-16 22:40:26 1107
原创 ClickHouse(21)ClickHouse集成Kafka表引擎详细解析
以下kafka_format是支持的格式,ClickHouse可以接受和返回各种格式的数据。受支持的输入格式可用于提交给INSERT语句、从文件表(File,URL,HDFS或者外部目录)执行SELECT语句,受支持的输出格式可用于格式化SELECT语句的返回结果,或者通过INSERT写入到文件表。对于使用了kerberos的kafka, 将security_protocol 设置为sasl_plaintext就够了,如果kerberos的ticket是由操作系统获取和缓存的。将数据转换为所需要的格式。
2024-01-12 21:01:16 1858
原创 Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解
Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架,目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算,支持JSON模版配置任务,兼容FlinkSQL语法。本文对chunjun同步任务的配置文件进行详细的介绍和总结。
2024-01-07 11:09:03 1395
原创 ClickHouse(20)ClickHouse集成PostgreSQL表引擎详细解析
这样创建,可以在同一列的不同表行中包含不同维度的多维数组。但是在 ClickHouse 中,只允许在同一列的所有表行中包含相同维数的多维数组。PostgreSQL 引擎允许 ClickHouse 对存储在远程 PostgreSQL 服务器上的数据执行。采样约束都是在 PostgreSQL 的查询结束后才在ClickHouse中执行的。要小心 - 一个在 PostgreSQL 中的数组数据,像。的方式在只读 PostgreSQL 事务中运行,每次。的方式在 PostgreSQL 事务中运行,每条。
2024-01-02 20:00:17 1624
原创 ClickHouse(19)ClickHouse集成Hive表引擎详细解析
Hive引擎允许对HDFS Hive表执行 `SELECT` 查询。当ClickHouse为远程文件系统启用了本地缓存时,用户仍然可以选择不使用缓存,并在查询中设置。我们强烈建议您为远程文件系统启用本地缓存。基准测试显示,如果使用缓存,它的速度会快两倍。Parquet:支持所有简单标量列类型;Hive引擎允许对HDFS Hive表执行。— Hive Metastore 地址。-文本:只支持简单的标量列类型,除了。ORC:支持简单的标量列类型,除了。在使用缓存之前,请将其添加到。
2023-12-23 13:58:13 2107
原创 ClickHouse(18)ClickHouse集成ODBC表引擎详细解析
ODBC集成表引擎使得ClickHouse可以通过ODBC方式连接到外部数据库.为了安全地实现 ODBC 连接,ClickHouse 使用了一个独立程序. 如果ODBC驱动程序是直接从中加载的,那么驱动问题可能会导致ClickHouse服务崩溃。当有需要时,ClickHouse会自动启动。ODBC桥梁程序与来自相同的安装包.该引擎支持Nullable数据类型。
2023-12-18 16:46:15 1393
原创 ClickHouse(17)ClickHouse集成JDBC表引擎详细解析
允许CH通过JDBC连接到外部数据库。要实现JDBC连接,CH需要使用以后台进程运行的程序。该引擎支持Nullable数据类型。
2023-12-11 19:23:32 1535
原创 ClickHouse(16)ClickHouse日志引擎Log详细解析
`Log` 引擎为表中的每一列使用不同的文件。`StripeLog` 将所有的数据存储在一个文件中。因此 `StripeLog` 引擎在操作系统中使用更少的描述符,但是 `Log` 引擎提供更高的读性能。`TinyLog` 引擎是该系列中最简单的引擎并且提供了最少的功能和最低的性能。`TinyLog` 引擎不支持并行读取和并发数据访问,并将每一列存储在不同的文件中。它比其余两种支持并行读取的引擎的读取速度更慢,并且使用了和 `Log` 引擎同样多的描述符。你可以在简单的低负载的情景下使用它。
2023-12-04 17:01:58 1635
原创 ClickHouse(15)ClickHouse合并树MergeTree家族表引擎之GraphiteMergeTree详细解析
GraphiteMergeTree该引擎用来对Graphite数据(图数据)进行瘦身及汇总。对于想使用ClickHouse来存储Graphite数据的开发者来说可能有用。如果不需要对Graphite数据做汇总,那么可以使用任意的ClickHouse表引擎;但若需要,那就采用GraphiteMergeTree引擎。它能减少存储空间,同时能提高Graphite数据的查询效率。该引擎继承自MergeTree.
2023-09-21 19:15:33 498
原创 如何在工作中利用Prompt高效使用ChatGPT
AI 不是来替代你的,是来帮助你更好工作。用better prompt使用chatgpt,替换搜索引擎,让你了解如何在工作中利用Prompt高效使用ChatGPT。
2023-07-24 08:25:23 2101
原创 大数据面试题集锦-Hadoop面试题(五)-优化
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题,关注一下"张飞的猪大数据分享"吧,公众号会不定时的分享相关的知识和资料。
2023-04-09 15:05:56 201 1
原创 大数据面试题集锦-Hadoop面试题(四)-YARN
(1)默认的调度器FIFOHadoop中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。(2)计算能力调度器Capacity Scheduler支持多个队列,每个队列可配置一定的资源量,每个队列采用FIFO调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值最小的队列;
2023-02-28 22:04:53 604
原创 大数据面试题集锦-Hadoop面试题(三)-MapReduce
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题,关注一下"张飞的猪大数据分享"吧,公众号会不定时的分享相关的知识和资料。
2023-02-06 20:00:38 313
原创 大数据面试题集锦-Hadoop面试题(二)-HDFS
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题,关注一下"张飞的猪大数据分享"吧,公众号会不定时的分享相关的知识和资料。
2023-01-16 21:08:12 547
原创 利用WordPress搭建属于自己的网站
怎么用WordPress给自己搭建了一个网站?可能很多人都想拥有属于自己的网站,这篇文章就找你怎么利用WordPress搭建属于自己的网站。如果你也正好有搭建个人网站的想法,那么本文会给你一个参考,我尽量写的比较详细,给自己做一个记录,也给大家一个参考。
2022-12-26 20:22:12 2345
原创 ClickHouse(14)ClickHouse合并树MergeTree家族表引擎之VersionedCollapsingMergeTree详细解析
VersionedCollapsingMergeTree引擎继承自MergeTree并将折叠行的逻辑添加到合并数据部分的算法中。VersionedCollapsingMergeTree用于相同的目的折叠树但使用不同的折叠算法,允许以多个线程的任何顺序插入数据。特别是,Version列有助于正确折叠行,即使它们以错误的顺序插入。相比之下,CollapsingMergeTree只允许严格连续插入。
2022-11-11 22:42:26 1229 1
原创 ClickHouse(13)ClickHouse合并树MergeTree家族表引擎之CollapsingMergeTree详细解析
该引擎继承于MergeTree,并在数据块合并算法中添加了折叠行的逻辑。CollapsingMergeTree会异步的删除(折叠)这些除了特定列Sign有1和-1的值以外,其余所有字段的值都相等的成对的行。没有成对的行会被保留。因此,该引擎可以显著的降低存储量并提高SELECT查询效率。简单来说就是,clickhouse会自动的合并有效和无效的数据,减少数据存储,并减少update所产生的性能消耗。具体的逻辑,下面介绍。
2022-10-24 19:37:13 1649
原创 ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析
AggregatingMergeTree引擎继承自 MergeTree,并改变了数据片段的合并逻辑。ClickHouse会将一个数据片段内所有具有相同主键(准确的说是排序键)的行替换成一行,这一行会存储一系列聚合函数的状态。可以使用AggregatingMergeTree表来做增量数据的聚合统计,包括物化视图的数据聚合。AggregatingMergeTree适用于能够按照一定的规则缩减行数的情况。
2022-10-07 22:00:00 1738 1
原创 ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析
SummingMergeTree引擎继承自MergeTree。区别在于,当合并SummingMergeTree表的数据片段时,ClickHouse会把所有具有相同主键的行合并为一行,该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行,则可以显著的减少存储空间并加快数据查询的速度。一般SummingMergeTree和MergeTree一起使用。
2022-10-06 22:00:00 1206
原创 ClickHouse(10)ClickHouse合并树MergeTree家族表引擎之ReplacingMergeTree详细解析
创建ReplacingMergeTree表的参数中,与MergeTree不同的是[ver]。在数据合并的时候,ReplacingMergeTree 从所有具有相同排序键的行中选择一行留下:如果ver列未指定,保留最后一条。ReplacingMergeTree是另外一个常用的表引擎,ReplacingMergeTree和MergeTree的不同之处在于它会删除排序键值相同的重复项。因此,ReplacingMergeTree适用于在后台清除重复的数据以节省空间,但是它不保证没有重复的数据出现。
2022-10-05 22:30:23 1521
腾讯邮箱垃圾邮箱解密-机器学习之贝叶斯分类.docx
2024-01-24
微信小程序练手项目-公众号热门文章信息流(完整代码)
2024-01-12
微信小程序练手项目-图片展示类app(完整代码)-demo
2024-01-06
微信小程序练手项目-电子商城app(完整代码)
2024-01-06
微信小程序练手项目-技术社区小程序(完整代码)-demo
2024-01-06
微信小程序练手项目-诗词展示小程序(完整代码)
2024-01-06
微信小程序练手项目-小闹钟(完整代码)-demo
2024-01-06
微信小程序练手项目-音乐播放器(完整代码)
2024-01-06
微信小程序练手项目-小游戏狼人杀(完整代码)
2024-01-06
微信小程序练手项目-小程序贪吃蛇小游戏(完整代码)
2024-01-06
微信小程序练手项目-吃货菜谱APP(完整代码)-菜谱小程序
2024-01-06
微信小程序练手项目-2048小游戏(完整代码)
2024-01-06
微信小程序练手项目-知乎日报(完整代码)
2024-01-06
全国手机号码归属地信息,包含移动联动电信
2024-01-06
VB6.0教程-从入门到精通.ppt
2024-01-03
Hbase面试练手题经典常见的面试题
2024-01-03
大数据治理平台解决方案
2024-01-03
基于引文内容分析的引用情感识别研究.pdf
2024-01-03
RGB颜色对照表大全.docx
2024-01-03
网站小图标简历小图标400多个精美实用图标.docx
2024-01-03
大数据面试宝典 .docx
2024-01-03
微信公众平台开发流程.docx
2024-01-03
php集成开发环境搭建.docx
2024-01-03
Java内存与垃圾回收调优.docx
2024-01-03
HashMap底层实现原理HashMap与HashTable区别HashMap与HashSet区别.docx
2024-01-03
C语言终极面试宝典.docx
2024-01-03
c语言编程经典例题.docx
2024-01-03
25个经典的Spring面试问答
2024-01-03
java-python-web-爬虫等程序员简历精美单页模板
2024-01-03
大数据学习进阶实战大纲,学习路径
2023-12-23
swot数据分析模板swot分析模板swot-analysis.xlsx
2023-12-23
2022年中华人民共和国县以上行政区划代码
2023-11-16
gpedit.msc自动修复安装脚本
2023-09-27
sparkSQL底层实现原理-sparkSQL调优资料包附课件、代码、资料
2022-10-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人