- 博客(34)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 numpy的使用说明(三)：numpy中切片和索引详解
1、切片1）numpy中数组切片与原生python切片的不同点数组切片返回的是原始数组的视图，原生python切片返回的是原始数组的浅拷贝。操作如下：list1 = [1,2,3]display(list1)list2 = list1[1:]display(list2)# 此时，修改list2中某一个元素，查看原始列表的元素是否发生变化？list2[0] = 666disp...
2019-12-31 22:29:11
2299
1
原创 numpy的使用说明(六)：一招帮你彻底搞懂axis=0和axis=1
1、关于axis轴的说明2、什么是维度？举例说明3、什么是高维，什么是低维？4、二维结构数据的坐标展示5、axis=0 与 axis=1的含义
2019-12-30 11:01:41
1695
1
原创 numpy中生成随机数的几种常用函数
1、使用numpy生成随机数的几种方式1）生成指定形状的0-1之间的随机数：np.random.random()和np.random.rand()array1 = np.random.random((3))display(array1)# -----------------------------------array2 = np.random.random((3,4))displa...
2019-12-28 15:37:06
7238
原创 numpy的使用说明(一)
1、numpy的简介1）numpy是"Numerical Python"的简称。2）numpy提供了一个高性能的多维数组对象ndarray(N DimensionArray)，以及大量的库函数和操作，可以帮助程序员轻松地进行数值计算。3）原生python语言执行速度很慢，C执行500次，python差不多只能执行一次，但是python语法比其它编程语言要简单的多得多。因此我们既想要某一个...
2019-12-26 14:39:36
2218
1
原创 ETL(十)：异构关联(联接器转换组件的使用)
1、同构关联和异构关联的区别注：同构关联的表出自同一个地方，比如说两张表都来自Oracle数据库；异构关联的表出自不同地方，比如说一张表来自Oracle数据库，一张表来自于MySQL数据库。2、需求3、ETL开发流程1）定义源表① 将Oracle数据库中的emp表导入到info中；② 首先查看一下dept表在MySQL的什么数据库下；③ 将MySQL数据库中的dept表导入到...
2019-12-25 23:38:28
670
原创 ETL(十二)：缓慢变化维(其中一种实现方式)
1、什么是缓慢变化维？2、本文章使用的表是客户基本信息表department表，总共有743条数据，截取部分数据展示如下；3、ETL开发流程如下1）定义源表2）定义目标表① 利用源表创建目标表；② 给目标表重命名；③ 给目标表进行字段设置；④ 生成并执行sql，在目标数据库中才会生成该目标表；⑤ 去目标数据库edw用户下，查看该目标表；3）创建映射① 创建一个...
2019-12-25 00:15:59
887
原创 ETL(十一)：增量抽取(更新策略转换组件的使用)
1、需要使用的数据源都在如下oracle_oltp_date.sql文件中，下面演示如何导入数据；2、本文章使用的表是客户基本信息表ods_cust_info表，总共有3000条数据，截取部分数据展示如下；3、ETL开发流程如下1）定义源表2）定义目标表① 利用源表定义目标表；② 修改目标表的表名；③ 修改目标表的列字段；④ 关键：生成并执行sql，才会在目标数据库中真...
2019-12-24 10:12:18
1075
原创 ETL(九)：同构关联(源限定符转换组件的使用)
一、解法一1、同构关联和异构关联的区别注：同构关联的表出自同一个地方，比如说两张表都来自Oracle数据库；异构关联的表出自不同地方，比如说一张表来自Oracle数据库，一张表来自于MySQL数据库。2、需求3、ETL开发流程1）定义源表① 将scott用户中的emp表和dept表都导入到info中；2）定义目标表① 由于源表有两个，我们随便拖拉一张表到右侧灰色区域，进行目标...
2019-12-23 12:34:56
669
原创 ETL(八)：路由器(rounter)转换组件的使用
1、需求2、路由器转换组件的功能3、ETL开发流程1）定义源表2）定义三个目标表：edw_emp_deptno_10、edw_emp_deptno_20、edw_emp_deptno_30① 定义3个目标表；② 生成并执行sql，将这些表在目标数据库中创建；③ 可以去目标数据库中查看这三张目标表；3）创建一个映射：m_edw_emp_router① 创建一个映射；...
2019-12-23 11:36:44
809
原创 ETL(七)：存储过程转换器和序列转换器的使用
1、需求2、创建一个存储过程① 在scott用户中创建一个存储过程；-- 创建一个存储过程，功能是根据输入的部门编号，返回部门人数；CREATE PROCEDURE get_deptno_count(p_deptno IN NUMBER,p_count OUT NUMBER)AS /**************************************************...
2019-12-23 11:01:43
708
原创 ETL(六)：筛选器转换组件的使用
1、需求如下2、开发步骤如下1）定义源表；2）定义目标表：将源表拖拉到右侧灰色区域，创建目标表；① 给目标表重命名；② 根据需求，选择我们想要保留的字段；③ 生成并执行，该目标表才能真正在目标数据库中创建；④ 可以在目标数据库Oracle中的edw用户中查看该创建的表；3）创建映射；① 创建一个新的映射；② 将源表和目标表都拖拉进右侧灰色区域；③ 在源表和目标...
2019-12-23 09:45:04
591
原创 ETL(五)：排序转换器组件的使用
1、在我的ETL(三)和ETL(三)这两篇文章中，我们使用“汇总转换”组件、“表达式转换”组件和“LOOKUP查找转换”组件，将items中的源数据，按照供应商分组，求出了产品的最大价格、最小价格…最后还根据供应商id匹配查找求出了供应商名称，如下图所示；学习本篇文章可以参考我如下2篇文章：https://blog.csdn.net/weixin_41261833/article/deta...
2019-12-23 09:30:45
543
原创 ETL(四)：LOOKUP查找转换组件的使用
1、在我的ETL(三)这篇文章中，我们使用“汇总转换”组件和“表达式转换”组件，将items中的源数据，按照供应商分组，求出了产品的最大价格、最小价格…如下图所示；学习本篇文章可以参考我的上一篇文章：https://blog.csdn.net/weixin_41261833/article/details/1036399182、本篇文章需求：在上述结果的基础上，使用lookup查找转换组...
2019-12-21 12:25:10
904
原创 ETL(三)：汇总转换器组件(聚合)和表达式组件的合用
1、需求如下2、在进行ETL开发之前，先创建一个edw用户。3、创建一个test_aggregation文件夹，用于完成本次项目注意：每个作业相当于是一个工程project，创建文件夹方便我们管理项目，同时ETL开发流程步骤太多，放在同一个文件夹下显得更为合适了。4、ETL开发流程如下整个ETL开发流程的详细步骤，可以参考我的另外一篇文章：https://blog.csdn.ne...
2019-12-20 23:39:56
765
1
原创 ETL(二)：表达式组件的使用
1、需求如下：2、在进行ETL开发之前，先创建一个edw用户。3、创建一个test2文件夹，用于完成本次项目每个作业相当于是一个工程project，船创建文件夹方便我们管理项目，同时ETL开发流程步骤太多，放在同一个文件夹下显得更为合适了。4、ETL开发流程如下整个ETL开发流程的详细步骤，可以参考我的另外一篇文章：https://blog.csdn.net/weixin_412...
2019-12-20 18:17:09
786
原创 ETL(一)：(详细步骤)使用ETL将源数据抽取到EDW层
1、ETL中4大常用客户端R客户端主要用于创建文件夹，不同的项目主题，应该放在不同的文件夹中；2、ETL开发流程①~③在D客户端中完成；④和⑤在W客户端中完成；⑥在M客户端中完成；3、需求需求一：将orcle作为源数据库，将scott用户下emp表中数据，抽取到edw层。4、创建edw用户和test1文件夹；1）创建一个edw用户，用户存放数据转换、清洗后的数据；...
2019-12-20 11:37:20
4257
原创 ETL详细安装教程(常见错误)
1、安装前的准备工作：创建两个用户名实例并赋予相应的权限bi_domain用户、bi_resource用户1）先使用系统管理员用户system登陆到数据库；2）选中Users–>右击鼠标–>新建–>出现“创建用户”界面；“创建用户”界面如下：3）针对“创建用户”界面，我们做如下操作；首先创建“bi_domain”用户：① 选择“一般”，填写如下内容；②...
2019-12-17 17:40:51
2633
1
原创 对比mysql学习oracle函数(五)：oracle单行函数—nvl、nvl2、nullif、coalesce、case、decode函数
1、单行函数分类：一行记录，返回一行结果；2、其他常用函数：空值处理函数测试数据如下：1）nvl(a,b)：a为空，就用b值填充。a是什么数据类型，填充值b就必须是相同的数据类型。SQL> select id,nvl(id,'0'), 2 name,nvl(name,'哈哈'), 3 comm,nvl(comm,0) 4 from test; ID ...
2019-12-17 00:23:24
1281
1
原创 对比mysql学习oracle函数(四)：oracle单行函数—转换函数
1、单行函数分类：一行记录，返回一行结果；四种转换、三个函数：2、to_char(date,‘fmt’)：将一个date日期，转换为’fmt’日期格式的字符串显示。1）常见的日期格式控制符2）数据源如下3）案例如下① 查询1987年入职的员工(姓名，入职日期)。SQL> select ename,hiredate 2 from emp 3 where t...
2019-12-16 17:57:35
1047
1
原创 对比mysql学习oracle函数(三)：oracle单行函数—日期函数
1、单行函数分类：一行记录，返回一行结果；1）日期函数介绍关于上图知识点，我们只关注一个知识点，Oracle中，默认显示的时间格式是“日-月-年”。当oracle服务端的字符集是simplified chinese_china.al32utf8或simplified chinese_china.zhs16gbk的时候，那么时间格式缺省显示类似于：2003-1月-28。当oracle服...
2019-12-16 16:41:00
1032
1
原创 对比mysql学习oracle函数(二)：oracle单行函数—数字函数
1、单行函数分类：一行记录，返回一行结果；1）数字函数① round(x,[保留的位数])：四舍五入。当对正数进行四舍五入：按照正常的计算方式，四舍五入即可。当对负数进行四舍五入：先把符号丢到一边，对去掉负号后的正数进行四舍五入，完成以后，再把这个负号，补上即可。SQL> select round(1.5) from dual; ROUND(1.5)---------...
2019-12-16 10:34:15
820
原创 对比mysql学习oracle函数(一)：oracle单行函数—字符函数
1、单行函数分类：一行记录，返回一个结果；1）字符函数大小写转换函数-- 大写转小写函数SQL> select lower('AbC') from dual; LOWER('ABC')------------abc SQL> select upper('abc') from dual; UPPER('ABC')------------ABC SQL&...
2019-12-15 23:27:37
943
原创 mysql存储过程
1、存储过程1）“存储过程和函数”：类似于java中的方法，python中的函数。2）“使用存储过程的好处”： ① 提高代码的重用性； ② 简化操作； ③ 减少了编译次数，并且减少了和数据库服务器的连接次数，提高了效率。 注意：每执行一句sql语句，就会连接mysql服务器一次。3）“存储过程的含义”：一组预先编译好的sQL语句的集合。2、存储过程使用的相关知识点1）创...
2019-12-14 23:56:28
782
原创 mysql数据类型(详解)
1、字符串类型1）char(m)：定长的字符串。2）varchar(m)：不定长的字符串。上述知识，可以参考下图理解：3）char和varchar存储的空间利用率比较。从上表中可以看出：4）tinytext、text、longtext注意：只要存放的是字符串类型，都要注意编码问题，一般使用的是utf8编码。2、数值类型有符号位与无符号位详解网址：https://ww...
2019-12-13 22:24:59
1341
2
原创 SQL查询语句的书写顺序和执行顺序
1、一个完整SQL查询语句的书写顺序-- "mysql语句编写顺序"1 select distinct *2 from 表(或结果集)3 where …4 group by …having…5 order by …6 limit start,count-- 注：1、2属于最基本语句，必须含有。-- 注：1、2可以与3、4、5、6中任一搭配，也可以与3、4、5、6中多个同时搭配。...
2019-12-13 21:59:54
1442
原创 数据库设计三范式(重点内容)
一、数据库设计三范式相关知识说明1、什么是设计范式？设计表的依据，按照这三个范式设计出的表，不会出现数据冗余。2、三范式都有哪些？1）第一范式：任何一张表都应该有主键，并且每一个字段原子性不可再分。2）第二范式：建立在第一范式基础上的，另外要求所有非主键字段完全依赖主键，不能 产生部分依赖。解决办法：多对多，三张表，关系表两个外键。3）第三范式：建立在第二范式的基础之上，所...
2019-12-12 22:56:10
1009
原创 mysql实现分组排序和不分组排序
大前提假如你不懂mysql中“=”和“:=”的区别，需要去补习一下这两个知识的用法。关于mysql中“=”和“:=”的区别，可以参考我的另外一篇文章。https://blog.csdn.net/weixin_41261833/article/details/103509526本文如果有不懂的地方，可以留言。一、不分组排序1、普通排名：从1开始，按照顺序一次往下排(相同的值也是不同的排...
2019-12-12 16:27:59
3580
10
原创 mysql中“=”和“:=”的区别
1、“=”和“:=”的区别mysql中“=”大多数表示的是等于的作用。只有使用update …set语句修改表中数据的时候，才体现的是赋值作用。eg：update student set sname=“王八” where sid = 3;“:=”表示的是赋值操作。2、举例说明“=”和“:=”的作用1）@num=@num+1上图说明： 首先，第1行我们使用set @num=0;...
2019-12-12 15:50:19
7079
2
原创 mysql中经典50道题目
1、四表之间的关联关系及字段说明2、建表语句和插入数据1）student表-- student表create table student( sid varchar(20), sname varchar(20), sage datetime, ssex varchar(10))charset=utf8;-- student表中插入数据insert in...
2019-12-12 10:33:13
1124
原创 对比mysql和hive：mysqlzhong ,分组求不同组的前几条记录
一、第一题1、建表语句create table mian61( hobby varchar(20), name varchar(20), age int)charset=utf8;2、表中插入数据insert into mian61 values('a','huangxiaoming',45),('c','huangxiaoming',45),('d','...
2019-12-10 20:15:57
465
1
原创 对比mysql和hive：分组，取不同组前几条记录-explode函数的使用
1、源数据如下1,huangxiaoming,45,a-c-d-f2,huangzitao,36,b-c-d-e3,huanglei,41,c-d-e4,liushishi,22,a-d-e5,liudehua,39,e-f-d6,liuyifei,35,a-d-e
2019-12-10 19:35:50
864
原创 hive的安装
版本选择hive1：计算引擎使用的是mr（基于磁盘计算的）；hive2：计算引擎使用的默认是mr，但是可以更换计算引擎为spark、tez；spark是基于内存计算的，速度快，但是spark程序对内存要求比较高。第一种安装方式不要使用此安装方式，讲述这种安装方式，仅仅用于测试hive默认使用derby数据库的缺陷。你可以在下面的安装步骤中看到，我连环境变量都没有配置。1）上传2）解压...
2019-12-08 12:12:42
640
python操作word,excel,pdf.pdf
2020-05-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人