- 博客(11)
- 收藏
- 关注
RSS订阅原创 数据库视图重点笔记
视图说白了就是一个通过数据库实表建立起来主要用于应用查询的虚表（也可以理解为是存储在数据库中的查询的SQL语句），他是不占数据库内存的。他的存在一方面可以隐藏一些数据，使一些非必要展示出去的字段隐藏起来不展示；另一方面是可以使复杂的查询易于理解和使用（以一张表的形式展现出来）。一些基本的关于视图的操作（例如create view、create or replace view、drop view等）就省略不讲了，主要是记录一下关于视图权限的设置及更新方面的限制。视图权限设置：[WITH [CASCADED
2021-11-24 14:27:12
904
原创 linux服务器通过命令行操作hive
通过xshell连上hive所在服务器；输入 hive 即可进入到hive的SQL语句输入页面；use database; 选择数据库（这一步可有可无，最后查表的时候带上数据库名即可）；CTRL+Z退出sql执行界面；1.通过xshell执行sql文件hive -f /filepath/filename.sql#filepath是文件在HIVE所在服务器上的存储路径；filename是要执行的sql文件名称。2.通过xshell导入csv数据文件load data local in
2021-10-15 14:17:55
2619
原创 linux服务器通过命令行操作clickhouse
通过XShell连上了CK所在的服务器后的部分操作：1.查看ck的集群名称cd /etc/clickhouse-server/lsvi metrika.xml2.如何进入CK的SQL输入页面（也就是登录后端）clickhouse-client --port=19000 -h 127.0.0.1 -m3.进入CK后台后如何查看数据库名、表名、指定使用哪个数据库查看数据库名 show databases;查看表名 show tablenames;指定使用哪个数据库 use data
2021-10-15 11:23:09
5301
原创 hive误删数据表恢复
数据被update后想要找回原先的数据只知道HBASE可以通过回退版本号查找，oracle数据库可以基于时间查询as of timestamp语句的办法进行恢复数据，MySQL可以在MySQL server开启了binlog的情况下通过binlog2sql快速回滚（该方法适用于dml，不适用于DDL，如果是drop了一张大表，必须要在执行DDL前先备份老数据才能实现回滚），其他数据库遇到这种问题好像不能回退，但是好像可以通过数据库日志进行处理，具体怎么处理还在了解中。。。。。如果hive里误删的数据表，恢
2021-09-10 15:51:02
3154
原创 使用Python快速生成二维码的两种方式及二维码解码
Python有好几个模块（例如qrcode、MyQR）可以一两行代码就生成一个二维码，也有解码二维码以了解原始字符串的代码，简单方便。下面介绍qrcode模块和MyQR模块。一、qrcode模块import qrcodeimg=qrcode.make("略旅人率略")img.save("test.jpg")qrcode.make()括号里可放网址链接、中文字符串、英文字符串。输出的二维码如下：二、MyQR模块样例如下：from MyQR import myqr#myqr.run('
2021-08-23 15:21:20
3254
转载 航空公司客户价值分析（代码完整）（手动筛选特征）
航空公司客户价值分析（代码完整）（手动筛选特征）本文代码是根据CSDN博主chnhbhndchngn的代码进行练习。原文链接为：https://blog.csdn.net/a857553315/article/details/79177524。数据字段描述：导包。import pandas as pd import numpy as npfrom sklearn.cluster import KMeansimport matplotlib.pyplot as plt导入数据并查看
2021-01-26 22:04:00
919
2
原创 python之数据文件批量清洗，入库
python之数据文件批量清洗，入库因为最近有一个数据接入清洗的项目，别的工具用起来有些觉得不太顺手，就学着写了一个数据清洗入库的通用模板，节省一些工作量。主要流程为：数据库连接---文件批量导入----文件批量清洗---根据清洗后的文件在数据库自动创表----清洗后的数据直接入库。主要用到的模块为pandas、cx_Oracle、os、datetime、sqlalchemy。```python#连接数据库import cx_Oracleimport pandas as pdprint
2020-07-13 23:23:05
1551
3
原创 利用python删除文件中某一列中包含某个关键词的一整行数据
1.对excel进行操作，对查找的内容进行精准匹配或模糊匹配import pandas as pdimport openyxlfrom pandas import Series,DataFrametest=pd.read_excel('测试.xlsx',sheet_name='test') #读入需要处理的表格及sheet页#testlist=['小烟','想睡觉','天真好','...
2020-04-15 22:51:15
7937
2
原创 python处理excel系列一之根据文件名从一文件夹批量复制文件到新文件夹并进行处理
用到的函数主要有shutil.copy()、os.path.join()、pd.merge()。import osimport pandas as pdfrom pandas import Series,DataFrameimport numpy as npimport shutil#先从分工表里提取出自己的分工org_data=pd.read_excel('分工表.xlsx',s...
2020-04-06 21:52:42
1304
原创 使用python随机函数随机批量生成手机号和姓名
**使用python随机函数随机批量生成手机号和姓名**利用random函数随机生成姓名和手机号，用到的函数主要有random.randint、random.choice、“sep”.join(seq)，要改生成的名字、手机号的数量只需要改range()里面的数值就行。随机生成名字的第一种写法：#第一种写法import randomfor i in range(1000): ...
2020-04-02 20:24:15
5031
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人