- 博客(10)
- 收藏
- 关注
RSS订阅原创 用python向aws s3中写入数据
可以直接使用s3fs直接写入import pandas as pdimport s3fsdf = pd.DataFrame( [ [1, 1, 1], [2, 2, 2] ], columns=['a', 'b', 'c'])bytes_to_write = df.to_csv(None).encode()fs = s3fs.S3FileSystem(key='xxxxx', secret='xxxxxxx')with fs.open('s3://top1--bigdata/backup/cli
2020-12-23 11:32:09
1179
1
原创 python_pandas的使用技巧
1、从大数据集中获取样本数据train_data = pd.read_csv('./titanic/train.csv', skiprows= lambda x: x>0 and np.random.rand() > 0.01)2、dataframe的行列转换d = {\"zip_code": [12345, 56789, 101112, 131415],"factory": [100, 400, 500, 600],"warehouse": [200, 300, 400, 500
2020-12-23 11:28:01
150
2
原创 clickhouse做漏斗分析
1、windowfunnelSELECT user_id, windowFunnel(86400)(parseDateTimeBestEffort(event_time), event_name = 'aa', event_name = 'bb', event_name = 'cc') AS levelFROM ods.ods_appsflyer_eventWHERE 1 = 1 AND date BETW
2020-12-02 14:40:58
684
原创 postgre sql自增序列的使用
先建立一个序列create sequence id_seq start with 1 increment by 1 no minvalue no maxvalue cache 1;创建表的时候这样写： create table dws_customize_filter_test ( id int4 default nextval('id_seq'), create_time TIMESTAMP not null default CURRENT_TIMESTAMP, update_time
2020-12-02 14:11:28
289
原创 python连接clickhouse
1、安装clickhouse-driverpip install clickhouse-driver2、代码测试连接from clickhouse_driver import Clientclient = Client(host = '47.253.7.29',port= '9000', user = 'ods',password ='5ZLLgBwe' )sql = 'select * from ods.ods_appsflyer_event limit 10;'ans = client.e
2020-11-02 11:21:12
1765
原创 sql查询优化方法
一、从where条件优化入手1、where 中尽量避免以下操作，否则将引擎放弃使用索引而进行全表扫描。!=, <>, is null, or, like ‘%abc%’, in, not in, 对字段进行表达式、函数或其他运算操作操作，如（num/2=100，substring(name,1,3)=’abc’)，2、应尽量在where条件中存在以下操作2.1、首先应考虑在 where 及 order by 涉及的列上建立索引。2.2、在使用索引字段作为条件时，如果该索引是复合索引，
2020-10-19 20:09:10
427
原创 SQL 高级查询函数
函数介绍concat(): 将多个字符串拼接起来语法：concat(str1, str2,…),需要注意的是，不能含有null值，否则返回的结果也为nullconcat_ws()： 同concat(),但是可以指定分隔符concat_ws(separator, str1, str2, …)collect_set()： group by 之后把，每个字符串放到set()中。注意满足集合特性，元素之间不重复collect_list() ： group by进行分组后，将每行的数据连接起来，加入到
2020-10-15 15:04:23
93
原创 sql触发器的使用 navicate postgre
一、什么是触发器触发器（trigger）：监视某种情况，并触发某种操作，它是提供给程序员和数据分析员来保证数据完整性的一种方法，它是与表事件相关的特殊的存储过程，它的执行不是由程序调用，也不是手工启动，而是由事件来触发，例如当对一个表进行操作（ insert，delete， update）时就会激活它执行。二、触发器的创建1.创建四要素监视地点（table）监视事件（update、insert、delete）触发时间（before、after）触发事件（update、insert、delete
2020-10-13 11:05:50
788
转载 Git的使用
#Git 学习转载自：https://www.jianshu.com/p/db3396474b96#一、Git安装去Git官网下载Git的安装程序，安装的过程我就不多说了，没啥好说的。#二、创建本地仓库Git安装完成后有一个Git Bash，打开Git Bash。输入如下命令：cd d:mkdir learngitcd learngit上述命令表示切换到电脑D盘，然后创建一个learngit的文件夹并将目录切换到该文件夹下。不确定自己是否已切换到指定目录，可以使用pwd命令显示当前路径。
2020-10-09 17:09:59
71
原创 Hadoop运行环境搭建
##大概的流程具体如下：一、修改主机名二、关闭防火墙三、安装JDK并配置环境变量四、Hadoop并配置环境变量上面每个流程的具体操作如下：#一、修改主机名1、修改主机名 根目录下输入如下代码：vim etc/hostname然后把当前的主机名改掉，我改成了hadoop2、修改linux的主机映射文件（hosts文件）vi /etc/s...
2020-04-28 14:43:53
88
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人