shammy_feng的博客

原创 oracle 插入单引号

oracle如何插入单引号

原创 oracle循环执行存储过程

1、功能：存储过程中for循环调用存储过程2、场景：跑历史数据create or replace procedure sp_loop_run isCursor datekeey isselect to_number(to_char(datekeey,'yyyyMMdd')) datekeeyfrom (select date'2021-01-01' + (rownum - 1) datekeey from dual connect by rownum <= (

原创 oracle update from

oracle 中update from的解决方法

原创 windows设置定时任务并运行python脚本（windows任务计划）

1、场景：有些python文件需要每天定时运行2、操作2.1 提前准备好py文件import xlsxwriterimport os#更改路径os.chdir(r"C:\Users\XXUZ\Desktop")new_excel = '测试文件.xlsx'if os.path.exists(new_excel) : os.remove(new_excel)workbook = xlsxwriter.Workbook(new_excel)worksheet = work

原创 python（模块）xlsxwriter

目录一、xlsxwriter简介二、xlsxwriter语法1、模块安装2、模块导入3、创建工作簿，工作表4、设置写入格式4.1 写入4.2 设置单元格样式4.3 设置设置标签颜色4.4 列宽和行高4.5 合并单元格三、实例应用四、参考资料一、xlsxwriter简介新建 xlsx 文件，插入数据、插入图标等表格操作。只能新建xlsx后写入xlsx文件。二、xlsxwriter语法1、模块安装pip3 install xlsxwriter2、模块导入import xlsxwriter3、

原创 python（模块）xlwt

目录一、xlwt简介二、xlwt语法1、模块安装2、模块导入3、向xls文件中写入内容4、设置写入文件的格式4.1 字体设置（font）4.2 背景颜色设置（pattern）4.3 边框设置（borders）4.4 对齐方式设置（alignment）4.5 单元格格式（num_format_str）4.6 列宽和行高三、参考资料一、xlwt简介xlwt仅支持 xls 格式的exce，只能新建xls后写入xls文件。二、xlwt语法1、模块安装pip3 install xlwt2、模

原创 python（应用）中文输出拼音

一、背景工作中有时需要生成某些建表语句要求不太严格的表，但可能上百个字段，建表时一个个字段翻译很痛苦，利用python的pypinyin模块直接翻译成拼音比较省事。二、功能实现1、代码import pypinyindef chinese2pinyin(list_data): """ 功能： 获取列表的首字母 参数： list_data: 列表 输出： 字符串 """ for str_data in l

原创 oracle利用函数实现oracle表生成mysql建表DDL

目录一、应用背景二、功能实现一、应用背景数据的迁移在工作中经常用到，尤其是不同类型的数据库建表语法不一致，下面通过oracle函数，输出mysql建表DDL。二、功能实现1、代码create or replace function fn_crea_tab_oracle2mysql( i_owner in string, i_table_name in string, i_number_default_type

原创 python（应用）如何用 Python 发送通知到企业微信？

如何用 Python 通过企业微信发送告警通知？一、通知方式有哪些？二、如何实现企业微信通知？三、注意事项四、参考资料一、通知方式有哪些？常见的通知方式有：邮件，电话，短信，微信。短信和电话：通常是收费的，较少使用；邮件：适合带文件类型的通知，较正式，存档使用；微信：适合告警类型通知，较方便。这里说的微信，是企业微信。本文目的：通过企业微信应用给企业成员发消息。二、如何实现企业微信通知？1、新建应用登陆网页版企业微信 (https://work.weixin.qq.com)，点击 应用管理

原创 python（十二）网络爬虫

目录一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（十一）文本处理

目录一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（十）邮件处理

目录一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（九）数据可视化之matplotlib

这里写目录标题一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（八）数据分析之numpy

原创 python（七）数据分析之pandas

python（七）数据分析之pandas一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（应用）通过sftp远程传输文件

参考资料python通过sftp远程传输文件

原创 mysql实现序列，用于表数据唯一固定主键

一、业务背景1、oracle有自增序列，mysql有auto_increment，但是后者是在插入数据时实现自增，数据每增加一行，就加12、需求：同一个产品\指标，同一个id，且同一个产品\指标的id一旦生成，就固定不变二、代码-- 1、创建表sequence：DROP TABLE IF EXISTS sequence;CREATE TABLE sequence ( name VARCHAR(50) NOT NULL, current_va

原创 Mysql按特定符号分割成多行或多列的示例

case when (length(path1) - length(replace (path1, "\\", ""))) / length("\\") +1 >=1 then SUBSTRING_INDEX(SUBSTRING_INDEX(path1,'\\',1),'\\', -1 ) end as first_level_directory参考资料：1、Mysql按特定符号分割成多行和多列的示例2、Mysql 根据分隔符拆分某列分割成多条记录 学习教程...

原创 mysql统计字段中某一字符串出现的次数

思路：计算总长，接着删除指定字符串，再计算长度，两者相减，除以指定字符串的长度，得到某字符串在字段中出现的次数代码：select (LENGTH(t.range_00) - LENGTH(REPLACE (t.range_00, "false", ""))) / LENGTH("false") AS num...

原创 python（十三）字符串格式化

目录一、字符串几种格式化方式1、“旧式”字符串解析（%操作符）2、“新式”字符串格式化（str.format）3、字符串插值/f-Strings（Python 3.6+）4、字符串模板（Python标准库）二、如何选择格式化方法三、字符串格式化符号一、字符串几种格式化方式1、“旧式”字符串解析（%操作符）name = '小仙女'age = 18print("大家好，我叫%(name)s，我今年%(age)d岁了。"%{'name':name,'age':age})#按参数print("大家好，我

原创 hive性能调优

一、调参数1、调整map、reduce、job数量–原理未理解，参考网上资料2、job过多时，尤其是union all过多时，开启job并行，但是比较耗资源set hive.exec.parallel=true;set hive.exec.parallel.thread.number=10;#表示同时运行的job的个数二、减少数据量1、检查筛选条件（最常用，一般漏掉日期筛选条件导致数据倾斜）2、按照hive的执行顺序，过滤条件的位置：on>where>having3、where中

原创 帆软问题记录：数据可预览，但是数据集正在加载

一、问题描述数据集数据预览没问题，但是数据集字段无法显示，一直都是正在加载…二、解决办法把关联方式改成left join，inner join的方式可解决问题

原创 python（六）正则表达式

目录一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（五）异常处理

目录一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（四）面向对象

目录一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（三）函数

这里写目录标题一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（二）流程控制

目录一级目录二级目录三级目录一级目录二级目录三级目录

原创 python（一）数据类型

目录列表二级目录元祖字典集合列表列表二级目录元祖字典集合列表

原创 python知识梳理

目录python基础一、数据结构二、流程控制三、函数四、面向对象五、错误和异常六、正则表达式python进阶一、数据分析及可视化（一）pandas（二）numpy（三）matplotlib二、邮件处理三、文本处理四、网络爬虫python基础一、数据结构二、流程控制三、函数四、面向对象五、错误和异常六、正则表达式python进阶一、数据分析及可视化（一）pandas（二）numpy（三）matplotlib二、邮件处理三、文本处理四、网络爬虫...

原创 hive异常：Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata空值引发的报错

1、问题：Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error2、原因：目前0.14版本hive在join的时候，如果可以有null值的话会报异常3、解决办法：临时方案切换到0.13，等待后续修复...

原创 Python常用的第三方模块（python第三方库）

Python常用的第三方模块（python第三方库）

转载 Python常用模块（python标准库）

os模块:

原创 oracle“ORA-00904”错误：标识符无效几种可能情况

1、此错误一般为语句中的表名或列名不存在，修改sql语句或者修改列名即可。2、若列名无误，仍然报错，那么可能是建表时，列名带""，insert 时需相应加""

原创 hive入门学习:explain执行计划的理解

参考资料：explain执行计划详解

原创 Python（应用）网页爬虫之BS4(Beautiful Soup)用法及案例

一、Beautiful SoupBeautifulSoup库是灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。安装：pip3 install beautifulsoup4解析库解析器使用方法优势劣势Python标准库BeautifulSoup(markup, “html.parser”)Python的内置标准库、执行速度适中 、文档容错能力强Python 2.7.3 or 3.2.2)前的版本中文容错能力差l

原创 python（应用）利用python把EXCEL文件导入Oracle

一、数据准备1、excel数据准备（包含字符串、整数、小数、科学计数法、空值）2、oracle建表CREATE TABLE AM_DC.FXM_TEST (CLO1 VARCHAR2(12), CLO2 NUMBER(8,0), CLO3 NUMBER(36,2), CLO4 NUMBER(36,4),CLO5 VARCHAR2(12));commit;二、代码#!/usr/bin/env python# -*- coding: utf-8 -*-import cx_Ora

原创 python （模块）Pandas DataFrame

Pandas DataFrameDataFrame：一个表格型的数据结构，包含有一组有序的列，每列可以是不同的值类型(数值、字符串、布尔型等)，DataFrame即有行索引也有列索引，可以被看做是由Series组成的字典。DataFrame可以设置列名columns与行名index。一、如何创建一个DataFrame1.1 使用numpy函数创建可以直接通过pandas的DataFrame函数进行创建。import pandas as pdimport numpy as npdf1 = pd

原创 低版本mysql 利用@变量实现row_number() over(partition by order by )排序功能

1、

原创 Oracle列转行unpivot函数的使用

Oracle列转行unpivot函数的使用新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入SELECT STU_NAME, TERM, subject, score FROM (SELECT '罗飞' STU_NAME

原创 hive异常：total number of created files now is 101247, which exceeds 100000（distribute by控制分区文件数）

distribute by控制分区文件数1、学习别人的资料：distribute by控制分区文件数2、实战经验：开发过程中，用动态分区补历史数据，动态分区342个，mapreduce如图1，产生了超1万个文如图2。采用distribute by动态分区字段解决问题。图1图2...