自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(360)
  • 资源 (1)
  • 收藏
  • 关注

原创 从炸裂函数到 LIMIT

从炸裂函数到 LIMIT

2022-11-21 09:47:34 9

原创 监控GreenPlum表的增量代码怎么写比较合适

监控GreenPlum表的增量代码怎么写比较合适

2022-11-15 13:57:01 64

原创 python字典get方法使用

python字典get方法使用

2022-11-14 14:41:38 104

原创 python eval 用法

python eval还原字符串对应的数据类型

2022-11-14 14:33:44 151

原创 kettle表输入报ResultSet错误

kettle表输入报ResultSet错误

2022-10-31 15:09:54 8

原创 我的创作纪念日

我的CSDN5年创作纪念日

2022-08-24 09:22:16 53 1

原创 Maven常见问题记录

刚开始开发Maven项目,遇到一些坑,在这里做一下记录。

2022-08-19 15:53:06 80

原创 pandas dataframe按条件筛选行

Pandas dataframe按条件筛选数据行

2022-08-18 11:19:19 341

原创 PostgreSQL数据切割和分离操作

PostgreSQL数据切割和分离操作

2022-08-10 16:16:17 269

原创 SQL中的json解析

数据库中的json数组或json对象的解析。

2022-08-10 16:09:23 1802

原创 PostgreSQL时间戳

PostgreSQL时间戳计算

2022-08-10 16:00:23 1314

原创 PostgreSQL建表操作

PostgreSQL数据库操作

2022-08-10 15:49:51 2871

原创 kettle 查询hive数据库报错

kettle查询hive数据库报错。

2022-07-15 16:26:43 740

原创 kettle镜像文件拉取

Linux系统下拉取kettle镜像文件

2022-07-05 16:11:58 205

原创 kettle执行SQL脚本

kettle设置参数

2022-06-09 14:29:31 3885 1

原创 PostgreSQL中TRUNCATE不能实现重置ID怎么办

在MySQL中,TRUNCATE可以重置ID,使ID重新从1开始自增,但PostgreSQL中, TRUNCATE并不能重置ID,需要通过重置序列来达到目的。PostgreSQL如何设置自增主键ID假设我们有:-- 创建序列CREATE SEQUENCE ods.ods_demo_id_seq START 1;-- 设置 id 默认值nextval('ods.ods_demo_id_seq'::regclass)那么我们重置的SQL语句如下:-- 序列重置到1ALTER SEQUEN

2022-05-31 09:31:33 350

原创 MySQL5.7 EXISTS的用法

EXISTS 内外层两个表之间一定要有某个字段关联起来。EXISTS取元组为真(true)的记录,NOT EXISTS取元组为假(false)的记录。1、 NOT EXISTS子查询和主查询为不同的两个表SELECT SnameFROM StudentWHERE NOT EXISTS (SELECT * FROM SC WHERE Sno=Student.Sno AND Cno='1' );2、 NOT EXISTS子查询和主查询为同一个表取别名自身关联:t1.id=t2.id

2022-05-25 14:13:33 148

原创 crontab怎么用

解决新手crontab的使用问题。

2022-05-19 15:24:08 307

原创 MySQL重置主键ID为从1开始自增

重置主键 ID1、不清空表AUTO_INCREMENT从当前最后一条记录的 ID 开始自增ALTER TABLE `table_name` AUTO_INCREMENT 1;举个例子:当前ID序列是 [2,3,4],使用上面的SQL语句,新记录的 ID 从5开始自增,每次加 1,而不是所有记录全部从 1 开始编号。2、清空表TRUNCATETRUNCATE [TABLE] `table_name`关键字 TABLE 可省略。...

2022-05-19 09:10:36 2547

原创 Kettle入门踩过的坑

1、变量名包含大写字母SELECT IFNULL(max(UPDATE_TIME),'${ETLTIME}') as max_updatetimeFROM 库名.表名WHERE UPDATE_TIME> '${ETLTIME}'ORDER BY UPDATE_TIME ASC;所以表的字段命名和变量名尽量用小写,不要有大写字母,如果有,一定要在变量名外面加单引号,否则报错。...

2022-05-05 13:50:43 155

原创 python获取某个模块文件的路径

1、在模块文件中获取该文件所在目录py_path, py_name = os.path.split(os.path.abspath(__file__)) __default_conf = py_path + r"\conf\log.conf"2、获取正在运行的文件所在的目录os.getcwd()https://blog.csdn.net/qq_41236493/article/details/115233099...

2022-04-06 15:43:18 1339

原创 PostgreSQL是否区分大小写

PostgreSQL对表名、字段名都是区分大小写的。Postgresql 自动将大写转换成小写# select 的字段名要么全部为大写字母,要么全部为小写字母,不能既有大写又有小写字母原表字段名全部为小写字母,active# 1、全部为大写字母select ACTIVE from schema_name.table_name <=> select active from schema_name.table_name# 2、全部为小写字母select active from sche

2022-01-13 11:10:15 2361

原创 pymongo使用经验

MongoClient不要放到for循环里面,放到外面作为全局变量,速度快5倍#!/usr/bin/env python# -*- coding:utf-8 -*-# @Date:2021/9/7# @Time:13:46import timefrom pymongo import MongoClientfrom database.simplelogger import SimpleLoggerfrom readwrite.writefile import FileWriterlogg

2022-01-12 08:51:07 297

原创 pymongo根据ObjectId 查找文档记录

'''without importing bson使用 MongoDB 查找特定元素,比如数据的某个字段'''from bson.objectid import ObjectId# def element_find():# myclient = MongoClient('mongodb://db_name:password@ip:port/')# mydb = myclient.db_patent_lawsuit_V4## # 读取数据库# read_c

2022-01-11 14:40:31 483

原创 如何删除word页眉横线

找到 “清除格式” 即可

2021-12-21 10:04:17 77

原创 postgresql查看表的创建者和表的权限

postgresql查看表的创建者和表的权限1、表名处右键,选择 “设置权限”,打勾最多的就是表的拥有者;2、打开要查看的表,点击右上角的 “DDL” 查看表的拥有者 “OWNER”,可以看到OWNER TO “xxx”...

2021-12-14 09:03:25 3218

原创 如何将Noteepad++每一行都添加一个逗号

Noteepad++每一行都以 CRLF 结尾,CRLF表示 \r\n

2021-11-09 10:24:22 957

原创 ERROR: function group_concat(character varying) does not exist

Database:PostgreSQL 9.4.24报错信息显示:函数 group_concat(character varying) 不存在,通过查资料发现。PostgreSQL里面没有group_concat函数(MySQL里面有—),为了使用group_concat这一功能,我们可以用array_agg 和array_to_string 取而代之。array_agg 和 array_to_string同样可以用于其他数据库,用于达到group_concat这一功能。There is no fu

2021-10-26 14:11:55 2141

原创 git提交了不需要的文件夹或者文件怎么办

把不需要提交的文件夹或者文件剪切到备份文件夹,然后再执行:git add .git commit -m '删除误提交的文件夹'git push提交之后刷新远程端的项目,可以发现不需要的文件夹已经删除若只想添加到本地项目,但是不想添加到远程分支,可以在.ignore文件里面注明。https://shiyousan.com/post/636470505667009340...

2021-10-18 14:52:15 580

原创 postgresql和greenplum使用笔记

建表注意事项########################################################1、建表2、insert_time和update_time设置默认值 now(),update_time触发器设置3、id自增设置########################################################修改某条记录的某个字段后,update_time自动更新[使用触发器]############################

2021-10-14 11:00:17 82

原创 如何下载指定版本的elasticsearch和kibana

访问elastic官网https://www.elastic.co/cn/点击“产品”选择ElasticSearch点击下载下方的超链接Past Releases等待Clear All Filters完全展示,正常情况下有两个选项,但是有时候因为网速慢的原因刚开始只显示一个下拉框,这个时候耐心等个10秒钟。点击Versions选择指定版本,比如 5.5.2...

2021-10-11 17:11:12 311

原创 Postgre使用笔记之按id顺序排序意义

select COLUMN_NAME from information_schema.columns where table_schema='yyy' and table_name='xxx' ORDER BY ordinal_position其中,yyy表示postgre的模式名,xxx表示模式中的表名,ordinal_position表示原表中各字段的栏位信息,加了就可以返回跟原表栏位信息一模一样的顺序,否则就是乱序的。...

2021-09-29 14:50:37 278

原创 mysql到es的交叉验证

数据校验之交叉验证in_mysql_not_es = [] # 在mysql 数据库不在es里in_es_not_mysql = []for data in mysql: if data not in es: in_mysql_not_es.append(data)for data in es: if data not in mysql: in_es_not_mysql.append(data)

2021-09-16 17:23:12 51

原创 python时间操作代码

Python datetime日期相减result = (datetime.datetime.now() - datetime.timedelta(hours=3)).strftime("%Y-%m-%d %H:%M:%S")python3中 datetime类型的数据可以直接比较大小。def t():import datetimet1 = datetime.datetime.now()t2 = datetime.datetime.now() - datetime.timedelta(hours

2021-09-16 17:16:57 140

原创 pymongo基本方法使用笔记

projection参数用法# key:value,value=1表示要显示这个字段# results = collection_name.find(filter={}, projection={"name":1}).limit(100)# key:value,value=0表示不显示这个字段# results = collection_name.find(filter={'isDeleted':0}, projection={"name":0}).limit(1) # results =

2021-09-08 11:25:41 92

原创 pymongo访问数据前数据库名和集合名(表名)校验

为什么使用pymongo访问mongodb的数据之前需要校验库名和表名,因为pymongo不会帮忙校验,写错库名,它会默认新建一个新数据库,因此需要校验,校验代码如下:from pymongo import MongoClientdef check_mongodb(db_name, collection): # connection db_client = MongoClient('mongodb://user_name:password@ip:port/') datab

2021-09-06 15:19:36 210

原创 Python操作PostgreSQL数据库的方法

带模式名查询,用引号import psycopg2# 创建连接对象# 连接 -> 数据库名 -> 模式名 -> 表名conn = psycopg2.connect(database="db_name", user="postgresql", password="postgresql", host="IP", port="xxxx")# 创建指针对象cur = conn.cursor()# 获取结果# 'SELECT * FROM "schema_name"."ta

2021-08-31 14:29:55 236

原创 如何查看mongo集合的数据类型

如何查看mongo集合的数据类型在Studio 3T for mongodb中,Mongdb查看集合中各字段的数据类型,可以通过切换到Tree View模式,查看 Type 列即可。

2021-08-19 14:01:15 1183

原创 dict.get 用法笔记

# key 相同# value in [0, False, "", None]d1 = {'aid': 0}print('aid0')aid0 = d1.get('aid', "")if aid0: print('aid is None')print('====================')# value not in [0, False, "", None]d1 = {'aid': 1}print('aid1')aid1 = d1.get('aid')print(ai

2021-08-16 10:53:56 108

原创 磁盘文件清理

清空回收站Pycharm清理缓存Navicat清理缓存查找系统中的大文件https://jingyan.baidu.com/article/ff4116250924c212e4823798.html

2021-07-28 09:41:23 57

BookCrossing

2017-04-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除