- 博客(37)
- 收藏
- 关注
RSS订阅原创 python面试题：pass vs break vs continue
number = [1,2,3]for i in number:if i==2:passprint(i)D:\python\python.exe D:\pycharm\joy_test_repo\test\test.py123number = [1,2,3]for i in number:if i==2:continueprint(i)D:\python\python.exe D:\pycharm\joy_test_repo\test\test.py13Process fini
2023-08-17 17:34:57
166
原创 python程序员面试题之：set vs tuple vs list vs dict
首先，set/tuple/list/dict都是存储变量的python类型，四者之间有异有同。首先，set存储无序不重复序列。
2023-08-17 16:10:26
389
原创 大数据工程师面试考题
1、shell 的AWK命令调用方法2、shell的sed命令调用方法3、git指令的vebase/tree/charrity4、CP/DCP区别5、try catch exception捕捉错误，else作用是什么？6、Python list如何增加item.7、编写如下python 对二维list进行升序排列的函数。Question:Sort,given2 darray in order of ascending.Flatten the 2Darray, and sort it such
2021-12-19 10:06:56
1751
原创 ETL engineer面试的部分问题（sql + shell)
1、bshell 和 kshell的区别？bshell又称bash shell，kshell又称korn shell。他们都是Linux脚本语句与Linux内核交互的。bash shell在Linux机器上广泛使用，而korn shell在Unix机器上更多采用。二者初始化数组的语法不一样，而且kshell没办法用tab键补全command。2、如何计算客户购买周期？select customer_id,count(*) from customer_tab group by customer_id
2021-12-09 11:45:38
2225
原创 ETL日常工作事项
1、提数，又叫数据溯源，业务方提出字段需求和字段解释，需要寻找数据来源（有可能来源现有的业务系统，有可能需要提出需求改造，有可能需要额外获取捕捉）。2、现金流追溯，根据各个会计科目梳理业务场景，明确现金流在各个表的流向，如何分摊、如何汇总。画ER图。3、HANA数据库建模：分为ods层、DM层、DW层和APP层 四层结构。范式建模，写建表sql语句。4、完善数据接口文档（从原系统接什么表、什么字段、什么是必须字段、什么是主键、什么是拉链字段，是全量获取还是增量获取）5、编写ETL调度以及参与SAP
2021-11-23 23:49:34
1016
原创 数据治理与ETL流程关系
这篇文章，浅谈数据治理与ETL流程关系。我认为可以从这几个方面去讨论数据治理（Data Governance):一致性、准确性、关联性、完整性、及时性。他们都和ETL实施起来流程密切相关。1、一致性：随数据传输文件一起传输过来的还有check_log表文件。ETL加工之前检测check_log表中得record_count value和select count(*) from table做比较，只有通过检测，才进行下一步ETL装载。否则程序abolish。2、准确性：检测check_log表中mone
2021-10-31 23:22:13
1573
原创 excel如何获取括号内字符以及excel如何根据第一列是否相等判断是否累加第二列
今天分享两个excel公式小运用。1、如何获取括号内字符。譬如思路：Mid(withintext,start_num,lenth)函数用find(look_char,withintext,start_num)函数找到第一个括号"(" 的位置，并作为mid函数的开始位置。然后用find再找出")"的位置，用（第二个位置-第一个位置）的值作为Mid函数的取值长度。最终公式：=MID(G9,FIND("(",G9,1)+1,(FIND(")",G9,1)-FIND("(",G9,1))-1)2、如何
2021-10-21 23:56:31
669
原创 sql子查询的妙用：用在from后面做子表、用在where后面做子条件以及用在select后面用作子字段
昨天去客户方让客户小姐姐给我查询一段sql的时候，竟然发现sql子查询还可以这样写：sql子查询不仅仅可以出现在from 后面作为表结构，譬如：select t1.company_id,t1.company_name,t1.department_id,t2.department_namefrom company t1,(select * from department where department_name like '%T%')t2 --子查询作为表放在from 后面where t1
2021-09-25 15:33:58
8376
原创 oracle cast 函数报错
今天有同事问我在使用Oracle cast函数的时候报错，语句和报错如下：select cast(column_1 as decimal(38,8)) from dbo.table_1;我用过这个来test，结果是可以跑出来一部分的数据，但是跑到中间某一个record的时候就报错了。碰到一个error converting data type varchar to numberic的问题。所以今天就是为了解决如何正确使用Oracle cast实现转换字段value type的目的。1、首先，ca
2021-09-16 00:13:34
892
原创 sql group by筛选字段和聚合字段关系、group by 和where先后顺序、group by和distinct去重对比
今天这个帖子是为了更加熟悉 sql group by的运用：1、select 后面跟的字段和group by的筛选字段之间关系；2、如果select 后面字段没有数字项怎么用group by；3、使用group by 和 where的先后关系；譬如有这样一个表：create table table_1(column_a varchar2(10),column_b varchar2(10),column_c int);insert into table_1 values('a','b',1);
2021-09-13 23:04:36
1915
原创 sql数据质量验证之如何查询关联后空值验证
今天发贴解决一个数据质量校验中关于sql关联后空值验证的问题。到底是粗颗粒度关联明细表还是明细表关联粗颗粒度表？有这样两张表：select * from company;select * from department;--全表查company_name的空值select company_id from company where company_name is null;--粗颗粒度关联明细表查company_name空值select c.company_id from company
2021-09-09 00:21:12
774
原创 如何用Oracle窗口函数解决sql select不能显示除group by后面的列的问题
今天这个帖子主要解决如何用Oracle窗口函数解决sql select不能显示除group by后面的列的问题，譬如某个学校初一年级一共三个班级，每个班级有不同的学生人数，想要筛选出年纪第一，并且select出该学生所属班级，姓名等group by没有聚合到的列名。老规矩，用sqlfiddle建数据模型。create table student(grade char(10),classno char(10),student_name varchar2(20),score number);insert
2021-09-01 23:52:55
716
原创 oralce数据库如何sql做select查询时候如何新增一列自定义列，并指定列名和固定value值
今天这个发帖目的是为了解决oralce数据库如何sql做select查询时候如何新增一列自定义列，并指定列名和固定value值。老规矩，用sqlfiddle创建好如下表结构：select * from company这个时候，如果需要对department_id进行部门分类，譬如department_id=101的部门类型是“外包”，department_id=102的部门类型是“内岗”，需要新增一个叫做“部门类型”字段并根据部门department_id进行分类取值，如何select实现呢？s
2021-08-29 00:09:23
7047
原创 sql 语句left join关联超过2张表时，随着left join一路向左，永远只能是最左边的关联表与新表关联吗？还是母表可以一直on下去？
今天这个帖子要解决一个问题：oracle数据库表间通过left join关联超过2张表时，随着left join一路向左，永远只能是最左边的关联表与新表关联吗？还是母表可以一直on 下去？利用sqlfiddle创建三张基本表结构先：create table company(company_id int,company_name varchar2(10),department_id int,employee_id int);create table department(department_id in
2021-08-26 23:05:35
2161
1
原创 sqlserver如何筛选第100--第200行的记录
昨天接到一个财务小姐姐的提问，如何提取SQL server某表中第1000到第2000行的记录。我细想了下，SQL server的确是没有像Oracle那样的rownum概念的。那么最好的办法就是子查询了。用sqlfiddle举个例子。为了减少数据量，咱们搞清楚原理，这里需求就改成如何从10行数据提取第5-第10行数据呢？1、先获取到前10行数据2、先获取到前10行数据按照相应检索index的降序排列3、然后在第三步基础上获取前5行数据4、最后将index排序归位所以查询SQL是：sel
2021-08-10 14:15:11
4300
原创 如何删除Oracle重复记录/保留最近一条记录
假设Oracle有如下table—employee:这里可以看到第二行记录和第五行记录除了id不一样，其他都一样，我们判定是重复记录，需要删除重复记录 id=2, 保留最近一条记录 id=5.相应的delete sql语句应该怎么写呢？delete from employee where id not in ( select max(id) from employee group by name,age,salary); 来分析下这段sql代码，首先select ma
2021-07-15 00:17:47
805
原创 如何解决Oracle表被锁情况、如何释放
今天用kettle跑一个ETL job，是对24万行数据进行查验，更新某一个列的特殊字符。例如：UPDATE kettle_employee SET last_name=‘NEW’ WHERE last_name=‘DEAD’一共耗时40分钟。后来再次调用同一个job重复操作时候发现弹窗如下错误：Couldn’t execute SQL: LOCK TABLE R_REPOSITORY_LOG IN EXCLUSIVE MODEselect * from v$locked_object;sele
2021-05-24 23:56:09
1742
原创 sql面试题目 筛选员工表每个部门工资前三名的员工信息
上个星期面试了一份sql开发的工作，最后一道题目非常有意思，拿出来跟大家分享下。有如下两个tables:department:department_id,department_name1 IT2 Saleemployeeemployee_id,name,salary,department_id1 Joy 1000 12 Uncle 1500 13 Micky 2500 14 John 1500 15 Bella 4500 26 Ben 5000 27 Alex 1000 28
2021-05-22 21:20:38
2170
原创 昨天面试Oracle DBA被问到的几个问题
一， 如果RAC节点中有一个节点死掉了，你会怎么急救？1，检查物理磁盘，lspv2，检查磁盘属性和权限，cd/dev — ls -l —rhdisk*3，检查两个节点私网通畅不通畅，crs二，RAC数据库中有四个非常重要的进程，分别是哪四个？DBWR/LGWR/ARCH/CKPT三，ORA000015 select 错误怎么处理？关于redo的。四，OGG原理是什么？ORACLE GOLDEN GATE, 可以实时补足源数据的redo log,复制DML和DDL 操作，实现数据同步。五，d
2020-05-14 14:34:30
732
原创 Oracle EBS 面试preparation
今天一早接到华为HR电话，问我除了DBA 运维外，懂不懂EBS。OMG。真的没有接触过哦。稍微百度了下。下面是本人的潜意识回复：接触过，EBS是Oracle 自带的ERP系统之一。包含了CRM，财务，订单处理，BOM清单，供应链管理，资源计划等众多功能模块。最直接的接触是在和IBM合作项目中，有一个case是要求对于application id禁用人为登录，毕竟我们是做DB securi...
2020-04-16 00:30:15
619
原创 Oracle数据库如何取消SQL plus /as sysdba登录
其实，只要LInux用户为属于DBA group下面的用户，SQL plus / as sysdba 根本不需要输入SYS用户密码 就可以登录数据库。带来了一定风险，如何去除这risk呢？cd /u01/app/oracle/product/11.2.0/db_1/network/admin/然后创建一个ora文件：vi sqlnet.ora加入如下一段话 ESC wqSQLNET...
2020-04-05 00:56:55
1076
原创 Oracle监听创建与配置之动态监听静态监听
首先，用一下代码查看监听是否开启：ps -ef|grep tns或者lsnrctl statusvi /u01/app/oracle/product/11.2.0/db_1/network/admin/listener.oracopy下内容 ESC :wqLISTENER = //这里的LISTENER (DESCRIPTION_LIST = (DESCRIPTIO...
2020-03-21 19:45:34
1801
1
原创 Linux如何移动文件
Linux如何移动文件[root@localhost ~]# cp /tmp/p10404530_112030_LINUX_1of7.zip /u01/p10404530_112030_LINUX_1of7.zip [root@localhost ~]# cd /u01
2020-03-20 00:25:17
1087
原创 Linux文件夹存放规则 Linux cd命令使用对比
首先通过上图我们搞清楚，Linux文件夹大致规则。从主文件夹开始划分，然后最重要的 /home文件夹，所有创建的用户和用户所创建的文件都会在这个/home文件夹下面建立独立的子文件夹。譬如：[joy@localhost ~]$ pwd/home/joy[oracle@localhost ~]$ pwd/home/oracle弄清楚这点我们就可以用CD来往穿梭于各个文件夹之间了。...
2020-03-17 23:49:43
439
原创 如何用putty链接VMware虚拟的Linux并且固定IP连接到外网
第一次VMware安装Linux成功之后，欣喜之下马不停蹄打算用putty连接虚拟的Linux服务器，如是ifconfig 查看Linux的ip,copy ip输入到Putty SSH连接，结果发现不行。这个时候，需要进入CMD查看下virtual machine的ip可以看到VMware Network Adapter VMnet8:IPv4 地址 . . . . . . ....
2020-03-14 00:55:02
906
原创 oracle 如何知道一个账户是从哪个IP 登录导致被锁的
今天同事的oracle账户不断被锁，于是让DBA的我给他查下他这个账户是从哪个IP登录导致锁定的。显然这个账户不止 他一个人在使用。方法就是 查看listener.log查看最近200行： head -200f listener.log10-MAR-2009 08:51:03 * (CONNECT_DATA=(SID=lhoms)(SERVER=DEDICATED)(CID=(PROGRA...
2020-02-19 23:21:14
1341
原创 oracle ---sqlplus连接数据库时候，总是提示监听查找不到对应的服务名
之前用cyberark 连接到数据库时候，总是提示监听查找不到对应的服务名。进入服务器：lsnrctl status 查看到的确没有对应的服务名，于是按照监听状态给出的监听文件目录，vi listener.orasid_ list_orcl=(sid_list =(sid_des=(global_dbname=orcl)(sid_name=orcl)）(sid_des=(gl...
2020-02-18 23:30:05
521
原创 sqlserver 删除账户的时候提示 Could not drop login as the user is currently logged in.
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-08-05 15:05:22
1457
1
原创 Linux如何用grep命令查找oracle参数文件
很多时候希望找到oracle的监听参数/SID 参数等。除了一层层找到相关文件夹more文件外，可以用Linuxes的grep命令更快的找到相关参数代码位置哦！grep【global search regurlar expression】就是一个专门为快速查找文件中符合查询内容字符串的，跟excel表的filter功能特别像。还可以筛选过多的文件列表：譬如：[oracle@oracle ...
2019-07-14 12:41:53
610
原创 Oracle误删了datafile数据文件，数据库关闭不了，备份不了，怎么办？--从Linux回收站捞数据文件然后同步SCN
SQL> select file_name,tablespace_name, status from dba_data_files;FILE_NAME TABLESPACE_NAME ...
2019-07-12 00:51:57
364
原创 oracle 11g测试用RMAN 对数据全备/表空间/数据文件备份
1/数据库在什么状态下可以用RMAN进行全备？首先，我们测试，数据库关闭状态SQL> shutdown immediateDatabase closed.Database dismounted.ORACLE instance shut down.SQL> exitDisconnected from Oracle Database 11g Enterprise Editio...
2019-07-12 00:11:45
293
原创 oracle如何清空回收站recycle bin以及如何用回收站闪回数据
今天的日记解答下面几点疑问：1.怎么查询回收站内容？2.怎么用flashback闪回回收站内容？3. system表空间到底有没有回收站？4. 如果回收站有同名文件，闪回的时候先恢复谁？5. 如果用purge/cascade命令删除objects，是否进入了回收站？6. 如何清理回收站节省表空间？首先我们要了解oracle回收站的本质，其实它不是真正的一个物理存在，他只是存在相应表...
2019-06-30 17:27:26
3311
原创 oracle查看表空间以及其文件存放位置，以及创建/清空/删除表空间
desc dba_data_files;desc dba_tablespace;create tablespace test1122 datafile ‘/u01/app/oracle/oradata/orcl/tbs2.dbf’ size 10m;drop tablespace undotabs2;SQL> select tablespace_name,contents from ...
2019-06-30 02:06:59
3839
原创 oracle查找/启动/关闭 archive log以及工作原理
oracle如何查看archive log开启还是关闭SQL> archive log listDatabase log mode Archive ModeAutomatic archival EnabledArchive destination USE_DB_RECOVERY_FILE_DESTOldest ...
2019-06-29 23:32:16
1303
原创 Linux 查找命令 find如何用名字找到文件
find path -option [ -print ] [ -exec -ok command ] {} ;举个例子。查找u01文件夹下的admin文件夹find u01 -name adminu01是要查询的目录-name 是指按照文件名查找-admin 是要查找的文件名， 也可以模糊查询譬如 ad*-下面是查找结果=========u01/ap...
2019-06-29 16:56:41
5184
原创 怎么在Oracle sqlplus中设置行宽列宽以及页数
setlinesize 100col name format a80set pagesize 200查看当前设置的页数和行宽默认设置show linesizeshow pagesize
2019-06-29 16:31:55
1793
原创 oracle 中一共有多少个以V$打头的动态性能表呢？
vinstance;vinstance;vinstance;vsession;vdatabase;vdatabase;vdatabase;vtablespace;v开头表v开头表 v开头表vdatabase数据库信息vdatabase数据库信息vdatafile 数据文件信息vcontrolfile控制文件信息vcontrolfile控制文件信息vlogfile重做日...
2019-06-29 16:11:19
517
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人