- 博客(26)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 关于Left Join逻辑丢失数据问题（丢失数据）
建基础表--表1： 姓名 create table app.test_boa_1 (id string ,name string );insert into app.test_boa_1 values (1,'安妮');insert into app.test_boa_1 values (2,'盖伦');insert into app.test_boa_1 values (3,'光辉');--表2：工资 create table app.test_boa_2 (id string ,sal
2021-12-13 18:38:02
8154
2
原创 hive中计算精度 double和decimal 的精度差异示例
hive中计算精度 double和decimal 的精度差异示例1、hive将字符串默认转换成double类型进行计算执行一下代码：explain select '0.0407'*2500 -->10.1749999999 执行计划- 可以看到，hive将字符串 ‘0.0407’ 转换成 double类型，最终输出值是： 10.17499999992、将字符转换成decimal后再计算执行下面代码：explain select cast（'0.0407' as dec
2021-11-04 15:03:07
17959
原创 第2章：mapreduce
mapreducehadoop将数据存储在hdfs文件系统上。处理数据时，将数据提取、预处理的工作交由map任务完成，生成键值对之后传输给reduce任务执行。一般一个分片，由一个map任务来做。 map和reduce任务执行在集群中的节点。map任务输出文件一般先存在本地，再由网络传送到reduce所在的节点上进行最终处理。这个传输过程可能很费时间，为了减少传输数据量我们可以在map任务生成的结果集传输前，通过combinter 对其进行进一步处理。map：数准备，过滤阶段 。reduce：对处
2021-11-01 00:38:02
891
1
原创 第1章：初识hadoop
学习hadoop你需要了解哪些：mapreduceHDFSYARN简介：当前是数据大爆发的时代，数的生成速度正在不断加快。通过良好的设计，在同等算力下使得问题能够更快的解决。随着数据量的不断膨胀，我们不再局限于将数据精准记录快速检查、更新的事务性数据库（关系型数据库），更希望能从全量数据中挖掘潜在价值，hadoop应运而生，haoop不仅可以对结构化的数据进行存储分析、更适用于半结构化、非结构化数据。 他相对于传统数据库而言有着明显的优势，是对传统数据库的补充。 他们相互弥补。haoop
2021-10-30 22:54:36
974
原创 Sqoop 报错 Can‘t parse input data: ‘\N‘
Sqoop 报错 Can’t parse input data: ‘\N’问题描述：使用sqoop吧hive中的数据推到 oracle中，程序报错：Can’t parse input data: ‘\N’导数时无法识别null值 。造成这个异常问题的原因是因为，hive中表是分区表的时候，增加字段未使用cascade 如：alter table app.suntest_user add columns(name string comment '姓名') cascade当未使用casc
2021-10-22 18:55:39
2304
原创 hive表中插入无效数据时返回null
执行下面sql语句，创建测试表create table app.test_boa_20211020183 ( id string ,dt date ,num double );insert into table app.test_boa_20211020183 values ('001','2021-10-20',300); insert into table app.test_boa_20211020183 values ('001','2021-10-20','2021-0
2021-10-20 18:55:39
761
原创 hive 两个日期相差月份
hive日期操作两个日期相差月份：--连个日期相差1个月，返回值：1 select ((year('2021-01-01')-1949)*12 + month('2021-01-01')) - ((year('2020-12-31')-1949)*12 + month('2020-12-31')) ;
2021-09-18 15:24:22
2703
原创 OracleSQL_071笔记_1（函数小结）
DDL单行函数单行函数基础SELECT UPPER(‘abc’) from dual; -->ABCSELECT lower(‘EFG’) from dual; -->efgSELECT TRUNC(123.456) FROM DUAL ; -->123 直接截取SELECT TRUNC(123.456,2) FROM DUAL ; -->123.45SELECT ROUND(456.789) FROM DUAL; -->457 四舍五入SELECT RO
2021-03-12 00:19:11
276
原创 2020-09-14
SELECT LAST_NAME ,SALARY FROM EMPLOYEES WHERE SALARY BETWEEN 2500 AND 3500;SELECT LAST_NAME ,SALARY,MANAGER_ID FROM EMPLOYEES WHERE MANAGER_ID IN (‘100’,‘101’);SELECT LAST_NAME FROM EMPLOYEES WHERE LAST_NAME LIKE ‘S%’;SELECT LAST_NAME ,SALARY FROM EMPLO
2020-09-14 07:30:04
149
原创 《Teradata数据库递归子查询&跨行拼接》
《Teradata数据库递归子查询&跨行拼接》SQL递归原理A：原表S 和游标C ，目标表T，设定好游标作为驱动。B：游标和目标表关联，结果插入T表，同时更新游标C。C：用更细过的C再关联S表。D：重复B，C直达返回结果为空（或到达递归最高次数）E：递归结束后，返回T表简单的迭代拼接create multiset volatile table t1 (Pid int,val char(10)) on commit preserve rows;insert into t1
2020-06-09 17:21:09
1485
原创 《SQL执行顺序》
《SQL执行顺序》大致流程词法分析语法分析语义分析符号转换安全性检测代数优化&物理优化执行计划执行代码具体执行顺序关键字检检查表是否存在，是否有权限（from）字段检测，访问数据字典检查表结构条件筛选（where，case when）分组汇总（group by）having分析函数（OLAP可以使用group by调整分析组，使用group之后不能和聚合函数一起使用，row_number 等分析函数除外）qualify （分析汇总之后再进行筛选）数据展现
2020-06-09 16:52:57
646
原创 Oracle 日志文件的使用
Oracle 日志文件的使用数据在块在数据缓冲区被修改，单不会立即写入到物理文件中，Oracle先将数据块的变动情况写入日志文件中去，再写入表的物理文件。日志文件有两个记录方式逻辑记录和物理记录。逻辑记录方法用描述性语言记录整个数据的变化。如：在日志中记录delete的旧值和Updat的新值。当大量更新时中途断电，许多脏数据被写入到表中。这时需要多数据进行undo处理。需要将已更新的数据找到，并还原，这个过程非常费时，且占用缓存。节省空间物理记录方法将每个数据块的变动前后记录（一个数据块中可能存在
2020-05-22 10:16:57
349
原创 Teradata简单表操作
–关键字TABLE --表CREATE --创建表DROP --删除表SET --表中数据唯一MULTISET --可以存在重复记录VOLATILE --临时表SHOW --展现表定义FORMAT --格式化NOT NULL --非空约束TITLE ‘抬头’ --列抬头UNIQU...
2019-12-17 15:00:59
3826
原创 第十章、财务会计报告
第十章、财务会计报告第一节、概述反应了单日或一段时间的经营成果、现金流量、财务状况。投资者、国家机关、商业银行管理的信息来源。1、财务会计报告的种类会计报告、会计报告附录、财务情况说明书对外提供的会计报告：资产负债表、利润表、现金流量表、利润分配表、所有者权益变动表、分部报表、信托资产管理会计报表、其他有关附表。按照编制时间： 年报、半年报、季报、月报2、财务会计报告的要求...
2019-11-26 10:46:54
228
原创 第九章、年度决算
第九章、年度决算第一节、年度决算的准备1、年度决算的意义对过去一年的总结,对全年的会计归纳、整理、核实，一年业务财务收支情况。全面总结和检查会计工作，提高工作质量。考核银行经济效益，提高银行静音管理水品。检查商业银行年度执行国家方针政策的情况。为宏观经济决策提供准确及时的经济信息。2、年度决算的要求3、年度决算的准备工作时间紧，任务中，一般会在第四季度初就开始着手准备。-...
2019-11-25 17:34:17
265
原创 第八章、所有者权益及损益的核算
第七章小结补充一下第八章、所有者权益及损益的核算第一节、所有者权益的核算1、实收资本的核算2、资本公积的核算3、盈余公积的核算4、未分配利益的核算第二节、损益的核算1、营业收入的核算2、成本费用的核算3、营业外收支的核算4、营业税金及附加的核算5、利润及利润分配的核算本章小结...
2019-11-25 16:40:52
454
原创 第七章、外汇业务的核算
第七章、外汇业务的核算外汇业务的主要内容外汇业务核算的特点外汇分账制的含义、内容、做法外汇存款的种类、存起、起存金额支取、存入、利息规定第一节、概述1、外汇与汇率（1）外汇动态外汇 ： 一种活动和行为，即清算国际债权债务的货币兑换的交易过程。外汇最早指国际 汇兑 。静态外汇 ： 以货币表示的国际结算的支付手段，是外币物质形态本身而存在的，包括：外币，国外有价证券等。外...
2019-11-21 18:06:22
2399
原创 第六章、支付结算业务的核算
第六章、支付结算业务的核算第一节、概述1、支付结算的意义定义：支付结算是指单位或个人在经济活动中使用票据、信用卡、汇兑、托收承付、委托收款等结算方式进行货币给付及资金清算的行为。（无论哪一类经济活动都必须伴随着货币的给付和结清）方式：现金结算、银行存款转账结算。意义：现在除规定结算需用现金外，大部分的结算都采用了转账结算的方式。有利于银行集聚资金、 稳定和扩大信贷资金 来源，充分发挥 ...
2019-11-19 16:43:14
1537
原创 第五章：银行往来及资金清算业务的核算
第五章：银行往来及资金清算业务的核算第一节、概述1、银行往来资金清算2、银行资金清算模式第二节、资金汇划清算的核算1、资金汇划清算的业务范围和基本方法2、资金汇划清算的会计科目和会计凭证3、资金汇划清往来与清算的核算4、系统内资金调拨及利息清算第三节、商业银行间往来的清算1、同城票据交换业务的核算2、异地系统汇划业务的核算3、同业拆借业务的核算第四节、商业银行与中央银行往...
2019-11-18 22:34:05
5241
原创 第四章、贷款和贴现业务的核算
第四章、贷款与贴现业务的核算第一节：概述：（1）贷款的意义：>>>>贷款是商业银行对借款人提供的按约定的利率和期限还本付息的货币资金。>>>>银行收入的重要来源、主要资产业务。>>>>通过调整资金投向和支持重点，调节社会的产业结构和产品结构，满足各方面需求，促进经济发展。（2）贷款的种类：>>>...
2019-11-15 09:44:08
2168
原创 第三章、存款业务的核算
第三章、存款业务的核算本章小结：吸收存款是商业银行负债的重要组成部分，也是其信贷资金的主要来源。按照不同的分类标准，可以将商业银行的存款分为单位存款和储蓄存款；活期存款和定期存款；人民币存款和外币存款等。为了办理资金收付结算需求，商业银行为存款人开立的活期存款账户，成为银行结算账户。银行结算账户分为单位银行结算账户和个人银行结算账户。其中，单位银行结算账户，按用途又可分为基础账户、一般账...
2019-11-07 11:17:18
755
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人