- 博客(30)
- 收藏
- 关注
RSS订阅原创 优化新知识
1.对空值排序 利用关键字 nulls first ，nulls lastSelect from ename, comm from emo order by 3 nulls first2. 根据条件取不同列的值来排序–创建新的一列4.
2021-11-10 09:34:55
183
原创 SQL基础语法主体知识2
19.更新数据的方法数据更新的方法20. 动态SQL在PL/SQL程序开发中，可以使用DML语句和事务控制语句，但是还有很多语句（比如DDL语句如 create table , truncate insert into 这种）不能直接在PL/SQL中执行。这些语句可以使用动态SQL来实现。PL/SQL块先编译然后再执行，动态SQL语句在编译时不能确定，只有在程序执行时把SQL语句作为字符串的形式由动态SQL命令来执行。在编译阶段SQL语句作为字符串存在，程序不会对字符串中的内容进行编译，在运行阶段再
2021-10-11 15:10:55
172
原创 项目二 电商
1.新建数据库开始–找到这个绿色的，点它然后一直点下去,其中新建资源库的名称为BI，所有口令用同一密码 口令123456，不要启动维护。完成 关闭。2.kettle抽数九个表格都抽完3.建数据字典4.找表关系...
2021-10-08 18:57:43
227
原创 更新数据的方式及日志与异常处理
更新数据的方法更新的方式离线（每几个小时更新一次，或者每天更新一次，日更居多，一般拿两天的数据，但是这样的话数据会重复（前天的））实时全量更新增量更新一般增量删除再更新（目的是防止终端补录前天数据）维度表：基本是全量更新，因为数据比较少 ，最多才几万条事实表，一般是增量更新方法一：现将目标表的记录在增量范围之内删除，然后在将增量插入第一种方式：开头删除处设置时间段在查询内设置时间段方法二，使用marge into更新CREATE OR REPLACE PROCEDURE SP_
2021-09-29 13:39:12
1102
原创 PLSQL
PLSQL是一种块结构的语言，即模块化，一个PL/SQL程序包含了一个或多个逻辑块（模块）基本操作包括：声明和赋值（变量与常量），条件空值，循环控制，游标一.变量的使用语法BEGIN --开始–逻辑部分EXCEPTION --异常处理END; --结束变量的命名规范：V_变量名1.认识函数：输出（打印）函数DBMS_OUTPUT.PUT_LINE(打印内容）；（类似python的print）打印函数只能打印具体值或者变量里面的值，不能打印查询结果如JOBeg：打印HELLO
2021-09-28 19:14:31
452
原创 补充知识点，五种语言类型，约束，存在，序列
1. 五种语言数据定义语言DDL 包括CREATE ,ALTER , DROP ,TRUNCATE数据操纵语言 DML：包括 INSERT UPDATE,DELETE,数据查询语言 DQL: 基本查询语句，ORDER BY ,GROUP BY事务控制语言 TCL 包括COMMIT（提交） ROLLBACK（回滚）数据空值语言 DCL 包括GRANT（授权）,REVOKE（撤销）2.约束按用途分类1）PRIMARY KEY 主键约束（可以没有主键，但主键是非空且唯一）（查看–键）创建主动约
2021-09-28 09:31:35
208
原创 深入浅出统计学
系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加第一章：深入浅出统计学之信息图形化 ：第一印象例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、信息图形化：第一印象1.各类展示的图例及处理数据2.类别数据和数值型数据二、使用步骤1.引入库2.读入数据总结前言一、信息图形化：第一印象1.各类展示的图例及处理数据饼图每一块代表一个组（类），扇形块越大，代表该
2021-09-23 20:09:16
711
原创 BI项目1 酒店相关
概览：从来源抽取数据（用kettle），（ODS）存储到数据仓库，对数据整合（先放在DW层），整合成两类表，事实表，维度表。然后可能再整合到 DM层（数据集市）整合成宽表。做成报表（报表工具：帆软，tableau）数据仓库包括好几部分 ODS（性能，数据备份）,DW命名叫做ODS ：贴源层（最贴近来源的层），具有数据同构性（来源内什么样抽过来基本就什么样）为了不影响来源的完整性，抽取速度要越快越好，否则可能会丢失数据。数据放到DW层内。到DM可视化前置操作创建普通用户，用户名命名为O
2021-09-23 20:06:17
233
原创 kettle（抽数工具 ，能够跨库抽取）安装流程
BI文档内，找到kettle右键解压–剪切整个文档到桌面-- 打开后将windows批处理文件–文件格式的spoon文件–发送快捷方式到桌面建资源库 ： 右上角 connect --other repository–get started --FILE repository – 创建账户名和路径，选择桌面新建的kettle–然后finish-- start nowkettle的使用1.建来源库（目标库）工具栏–第三个 资源库—连接—[+号]—起连接名（source【随意起】） 数据库选Mysql–
2021-09-23 12:04:59
1218
1
原创 SQL 练习2021.9.22
–1.使用EMP表–(1) 查询每种职业的平均工资SELECT DISTINCT JOB,ROUND(AVG(SAL) OVER(PARTITION BY JOB ),2) AVG_SALFROM EMPORDER BY AVG_SAL ;–(2) 将第一步的查询结果展示为如下所示（5 种方法）/*办事员 销售 总裁 经理 分析员1037.5 1400 5000 2758.33 3000*/–1.位移分析函数 leadSELECT AVG_SAL 办
2021-09-23 09:54:53
152
原创 三类分析函数（开窗函数）
功能强大的函数三类聚合分析函数排序分析函数位移分析函数聚合分析函数聚合函数使用条件：使用聚合函数后，SELECT后面只能出现聚合函数或者分组字段 （聚合分析函数接触了第一个闲置）聚合函数不能使用在WHERE后面聚合分析函数的使用格式SUM(目标字段) OVER()AVG(目标字段) OVER()MAX(目标字段)OVER()MIN(目标字段) OVER()COUNT(目标字段) OVER()eg：查询每个员工的信息以及所有员工的信息总和，平均工资，最高工资，最低工资，员工个数
2021-09-22 11:09:55
769
原创 子查询练习
例：查询工资高于平均工资的员工SELECT E.*FROM (SELECT DEPTNO,AVG(SAL) AVG_SALFROM EMPGROUP BY DEPTNO) AJOIN EMP E ON E.DEPTNO = A.DEPTNOWHERE E.SAL > A.AVG_SAL;先查询平均工资，将这整个结果作为一个 表，然后和工资表EMP进行关联，然后再进行比较。练习：1.查询每个部门的最高工资对应的员工信息SELECT *FROM(SELECT DEPTNO,
2021-09-18 10:02:03
319
原创 CSDN如何快速升级-博客积分规则
CSDN博客是依靠积分来提升等级的，博客积分是CSDN对用户努力的认可和奖励，也是衡量博客水平的重要标准。博客等级也将由博客积分唯一决定。想要快速提升等级，就需要按照CSDN的积分规则来获取积分，积分规则具体如下：1、每发布一篇原创或者翻译文章：可获得10分；2、每发布一篇转载文章：可获得2分；3、博主的文章每被评论一次：可获得1分；4、每发表一次评论：可获得1分（自己给自己评论、博主回复评论不获得积分）；5、博文阅读次数每超过100次：可获得1分，阅读加分最高加到100分，即文章点击上万次截止
2021-09-17 09:47:21
523
10
原创 安装FineReport流程
安装流程右键finereport解压到finereport——右键kettle。。——解压到kettle————打开 ETL&报表————finereport——bin——designer进入后打开服务器——定义数据链接——将ip改为LOCALHOST——主界面左侧【+】号，写入sql代码，导出数据表格。表格的类型共有三种表格：普通表格聚合表格决策表格三种表格的使用方法较为类似，均以拖拽的方式进行操作简单流程为：写好sql代码——提取数据（左侧+号）——制作表格各类参数的设置
2021-09-16 17:41:14
446
原创 SQL基础语法主体知识
SQL代码构成SELECT + 字段名/算术表达式/函数FROM + 表名/结果集WHERE +筛选条件GROUP BY + 分组字段HAVING + 筛选条件ORDER BY + 排序字段#在结尾加分号，表示代码结束。下列为具体介绍每个代码的使用方法#eg：查询员工信息SELECT EMPNO , ENAME #出现多个字段名，用逗号隔开 FROM EMP #查询字段（列）EMPNO的数据*用来表示全部字段，即整张表的查询3.筛选调节：字段名 关系 构成关系的数据。
2021-09-15 11:34:41
1113
原创 csv模块：csv.Dictwriter()
存储数据从之前代码的运行结果可以看到，我们是将爬取到的数据都储存到了新建的 csv 文件中。所以我们可以使用 csv 模块的 DictWriter() 类，接下来我们简单回顾一下这个知识点。1）调用 csv 模块中类 DictWriter 的语法为：csv.DictWriter(f, fieldnames)。语法中的参数 f 是 open() 函数打开的文件对象；参数 fieldnames 用来设置文件的表头；2）执行csv.DictWriter(f, fieldnames)后会得到一个 DictW
2021-09-14 22:57:29
6957
原创 scrapy项目：爬取豆瓣畅销书排行榜内容（仅爬取2020年1-3页：无保存）
目标如题先进入cmd进入想要创建项目的文件夹，例如cd C:\Users\MI\Desktop\python学习\python爬虫学习内容\13_scrapy1然后在cmd输入 crapy startproject dangdang这样就创建了一个scrapy的项目框架如下图进入douban再进入douban文件夹（子）spider文件夹内部：其中的bestseller.py ， main.py文件在创建scrapy框架时时没有的，后续会提到创建框架部分说完了。接着是代码部分
2021-09-09 15:39:09
272
原创 scrapy框架使用流程
scrapy介绍上面的这张图是Scrapy的整个结构。你可以把整个Scrapy框架看成是一家爬虫公司。最中心位置的Scrapy Engine(引擎）就是这家爬虫公司的大boss，负责统筹公司的4大部门，每个部门都只听从它的命令，并只向它汇报工作。我会以爬虫流程的顺序来依次跟你介绍Scrapy爬虫公司的4大部门。Scheduler(调度器)部门主要负责处理引擎发送过来的requests对象（即网页请求的相关信息集合，包括params，data，cookies，request headers…等），会把
2021-09-08 23:18:06
2842
2
原创 annaconda3 scrapy框架创建
前提：用管理员权限运行Anaconda如何安装Scrapy框架：1、进入anaconda prompt2、键入：conda install scrapy3、Proceed ([y]/n)? y4、等待安装成功5、键入：scrapy
2021-09-07 14:00:54
336
原创 python:爬虫selenium入门
注意事项：如果打开网页自动关闭的话，是运行方式不对。操作如下在程序框内右键，选择 在终端运行python文件。 或者界面右上角的三角形选择python运行
2021-09-04 10:37:39
116
原创 bug相关：os.system(‘clear‘)
如果在win系统中直接运行这部分内容，会产生以下bug查了非常多资料，各种方法都试了，然而，其实是本身代码出了问题。对于linux来说，这个代码没问题，但是对于win，os.system(‘clear’)的clear应该换成cls，即os.system(‘cls’)，这样代码就没问题了以上。...
2021-08-26 23:31:02
852
原创 VScode装了库但无法使用的解决方法
明明安装了库但是却说not defind。解决方法：在vscode界面左下角选择解析器，然后弹出窗口选择解析器，每个都尝试一下，就可以解决了
2021-08-25 10:42:27
3500
2
原创 input()函数使用方法
对于input()函数来说，不管我们输入的回答是什么，不管你输入的是整数1234，还是字符串『隐形斗篷是我最想拥有的魔法』，input()函数的输入值（搜集到的回答），永远会被【强制性】地转换为【字符串】类型。（Python3固定规则）egage = 59choice = input('请你猜一下斯内普教授的年龄：')if choice == age: print('猜对惹～你好厉害！ ヽ✿゜▽゜)ノ～～～')elif choice < age: print('斯内.
2021-07-26 22:05:48
1270
原创 误差分析方法
花点时间找出开发集，测试集内的错误标记的例子，假阳性和假阴性，找出不同类型错误的错误数量（统计不同错误类型数量占总数的百分比），分析出哪个部分算法优化最有效。如果标签Y是错误的，该如何处理和是时候值得花时间去处理深度学习算法对随机误差（random errors）是非常robust的，但是对系统性误差（systematic errors）就没那么robust了，需要修改标签随机误差：如果没用严重影响到你的正确率，就没必要修改或优化。就需要修正错误标签了而如果需要修正开集数据，则一些方针和原则需
2021-07-25 23:36:57
2534
1
原创 python小知识总结
type()函数例子：who = '我的'action = '是'destination = '镜像世界'number = 153code = '通行密码'print(type(who))print(type(action))print(type(destination))print(type(number))print(type(code))##结果<class 'str'><class 'str'><class 'str'><
2021-07-25 22:16:11
65
原创 Call back代码注释（用于达到目标就停止训练，加快训练速度）
代码如下：import tensorflow as tf##下列代码为回调代码class myCallback(tf.keras.callbacks.Callback): def on_epoch_end(self, epoch, logs={}): if(logs.get('accuracy')>0.6): print("\nReached 60% accuracy so cancelling training!") self.model.stop_trai
2021-07-24 23:57:48
152
转载 Python shuffle() 函数
Python shuffle() 函数https://www.runoob.com/python/func-number-shuffle.html
2021-07-20 09:52:25
64
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人