- 博客(10)
- 资源 (7242)
- 收藏
- 关注
RSS订阅转载 Hive SQL 底层执行过程详细剖析
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。HiveHive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。Hive直接访问存储在 HDFS 中或者 HBase 中的文件，通过 M.
2021-07-21 16:57:36
291
转载 整理了 34 个 Python 自动化办公库
本次内容涵盖了Excel、Word、PPT、ODF、PDF、邮件、微信、文件处理等所有能在办公场景实现自动化的库，希望能够对大家有所帮助。PythonExcel自动化库// 1.xlwings 库官网：https://www.xlwings.org/特点：xlwings 是开源且免费的，预装了 Anaconda 和 WinPython，可在 Windows 和 macOS 上运行。通过 Python 脚本或 Jupyter notebook 自动化 Excel，通过宏从.
2021-07-20 12:37:57
700
转载 Hive SQL 底层执行过程详细剖析
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。HiveHive是什么？Hive 是数据仓库工具，再具体点就是一个 SQL 解析引擎，因为它即不负责存储数据，也不负责计算数据，只负责解析 SQL，记录元数据。Hive直接访问存储在 HDFS 中或者 HBase 中的文件，通过 M.
2021-07-20 12:36:59
337
转载 看一遍就理解：order by 详解
前言日常开发中，我们经常会使用到order by，亲爱的小伙伴，你是否知道order by 的工作原理呢？order by的优化思路是怎样的呢？使用order by有哪些注意的问题呢？本文将跟大家一起来学习，攻克order by~一个使用order by 的简单例子假设用一张员工表，表结构如下：CREATETABLE`staff`(`id`BIGINT(11)AUTO_INCREMENTCOMMENT'主键id',`id_card`VARCHAR(20)...
2021-07-20 12:35:50
1409
转载 SQL 查找是否“存在“，别再 count 了！
根据某一条件从数据库表中查询 『有』与『没有』，只有两种状态，那为什么在写SQL的时候，还要SELECT count(*) 呢？无论是刚入道的程序员新星，还是精湛沙场多年的程序员老白，都是一如既往的count目前多数人的写法多次REVIEW代码时，发现如现现象：业务代码中，需要根据一个或多个条件，查询是否存在记录，不关心有多少条记录。普遍的SQL及代码写法如下#####SQL写法:SELECTcount(*)FROMtableWHEREa=1ANDb=2...
2021-07-20 12:34:08
58
转载 10 大高级 SQL 进阶技巧
随着数据量持续增长，对合格数据专业人员的需求也会增长。具体而言，对SQL流利的专业人士的需求日益增长，而不仅仅是在初级层面。因此，Stratascratch的创始人Nathan Rosidi以及我觉得我认为10个最重要和相关的中级到高级SQL概念。1.常见表表达式（CTEs）** **如果您想要查询子查询，那就是CTEs施展身手的时候 - CTEs基本上创建了一个临时表。使用常用表表达式（CTEs）是模块化和分解代码的好方法，与您将文章分解为几个段落的方式相同。请在Where子句中使
2021-07-20 12:32:47
880
转载 数据分析师，要懂多少算法模型？
随着数据分析岗位招聘越来越内卷，问“你用过/建过什么模型”的也越来越多。这个问题很容易给人“面试造航母，工作拧螺丝”的感觉。实际工作中，真的要搞那么多模型？？？搞得很多同学在疑惑：l 到底数据分析师要懂多少算法模型？l 工作中真的要用到那么多模型？l 我干的到底算不算模型？今天系统讲解一下01盘点各路人马口中的“模型”这个问题的本质来自于不同人口中的“模型”含义不一样。广义上讲，只要是对现实问题的抽象，都可以叫“模型”。但一旦要结合数据、计算过程...
2021-07-20 10:46:48
129
转载 数据资产盘点实践：智能对标
数据资产盘点，是一个将数据资源进行标准化、产品化、服务化的过程。没有经过这个过程的数据，仅仅只能是数据资源，就像原油；经过资产盘点，有口径、有溯源、有案例场景，有服务接口，用户才能“看得到、用得上、能放心”。然而，企业在实际的工作中，面对大量的存量数据资源和有限的数据标准，这是一个N：1的过程。这个过程，如果没有在这些系统建设之初就进行建模管控，形成标准资源的1：N机制，那么反推回来，要让N个数据资源项被找到、对齐数据标准，会是一项困难的工作。在这个时候，就必须使用智能化的工具，部分替代人工的识别和评估
2021-07-16 11:15:50
1386
原创 如何进行信息化项目需求调研
需求分析是信息化系统建设的第一步，也是非常关键、重要的一个工程环节，需求分析进行的是否完整、深入直接关系到后续整改项目的范围、进度及成本和质量。那么如何做好需求分析呢？方法/步骤 1 第一部：现状调研分析 首先我们要通过和客户的交谈当中，对客户目前的现状进行了解、分析。 从交谈中及询问的方式获取到与信息化系统相关的各个相关要素的现状信息。 客户的信息化建情况、业务现状，在信息化系统建设上存在哪些不足、痛点；业务流需要进行如何完善。 第二部：需求分析 1、平台类型需求
2021-07-13 22:07:38
2766
原创 项目管理的知识理论在日常生活中的应用
学习国际项目管理PMP证书时了解到，在国内除了专业做信息化项目的工程师，由于工作需要在学习PMP（项目管理知识体系）外，也有很多各行各业的从业人员在学习PMP（项目管理知识体系）,其实所谓的“项目”并不单纯的指信息化建设项目，在我们生活中很多的事情都可以比喻成项目，都可以用PMP的项目管理体系知识进行管理，这也是为什么很多其他行业的从业人员也在学习项目管理知识体系知识。比如你要组织一场生日会，就可以当成一个项目来组织管理。可以按照项目管理当中的时间管理、进度管理、预算管理、成本管理、范围管理等方面进行管
2021-07-13 22:01:37
835
精选集团业务系统SCM供应链管理SRM供应商管理协同管理建设参考ppt及word资料（12个）.zip
2024-09-21
精选集团信息化战略规划数据治理数字化信息平台建设参考ppt及word资料（10个）.zip
2024-09-21
精选大型能源集团燃气集团煤化工集团数字化转型流程优化平台建设参考WORD及ppt资料合集（8份）.zip
2024-09-20
精选大型集团数字化转型总体规划蓝图设计SAP解决方案可编辑PPT参考资料（5份）.zip
2024-09-20
精选电力集团信息化数字化转型总体规划数据治理大数据应用支撑平台建设可编辑PPT及word参考资料（4份）.zip
2024-09-20
96张各类数据安全治理数据安全管理体系架构图网络安全信息安全运行数据分类分级架构可编辑PPT资料.pptx
2024-09-19
精选大型集团企业信息化IT规划IT技术架构IT治理总体规划治理体系可编辑参考PPT资料（6份）.zip
2024-09-19
智慧水利数字孪生水利工程智慧水利综合解决方案可编辑PPT参考资料（6份）.zip
2024-09-22
机械装备汽车电子石化类工业互联网智能工厂解决方案参考可编辑PPT资料（10份）.zip
2024-09-22
工业互联网工业大数据平台大数据可视化建设方案架构方案工业大数据采集处理学习参考资料（9份）.zip
2024-09-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人