- 博客(9)
- 收藏
- 关注
RSS订阅原创 Python 操作HDFS
Python 操作HDFS模块python HDFS模块实例化客户端读写文件读取文件至内存结合以下write() 方法将文件写入HDFSKerberos认证访问列出目录创建目录（如要写入，建议使用write方法，没有会自动创建）删除检查文件是否存在获取HDFS上文件或者目录(可用于判断是否存在)移动文件或文件夹参考文献python HDFS模块安装：pip install hdfs介绍：该模块用于python与HDFS的namenode建立链接从而获取到datanode进行操作链接方式：webHDF
2021-04-02 11:20:26
4731
4
原创 Oracle函数总结
1、数学函数1）abs(x)返回x的绝对值2）sqrt(x)算数平方根函数3）mod(x,y)求余函数4）ceil(x)返回不小于x的最小整数5）floor(x)返回不大于x的最大整数6）dbms_random.random 与 dbms_random.random(x,y)返回一个随机值x,y为 随机范围7）round(x)、round(x,y)返回最接近于参数x的整数y为保留小数点后几位8）trunc(x,y)函数对操作数不进行四舍五入操作，结果保留y位9）sign
2020-08-16 21:15:15
328
原创 在linux下利用python删除Redis集群大Key数据
#导包import timeimport sysimport refrom rediscluster import RedisCluster#这里为集群节点及端口相关信息redis_basis_conn=[{“host”:“192.168.1.1”,“port”:9527}{“host”:“192.168.1.1”,“port”:9527},{“host”:“192.168.1.1”,“port”:9527}]#根据业务需要删除数据，这里为读取shell脚本传入日期参数给python，一边模糊
2020-08-14 20:47:12
396
原创 Spark参数设置总结
Spark参数总结1、num-executors参数该参数设置Spark作业总共需要多少个Executor进程来执行。Driver向YARN申请资源时，YARN管理器会按照你设置的，在各个WorkNode上启动相应的Executor进程注释：Executor为JVM进程，用于运行和处理Task（分区数据）2、executor-memory参数该参数用于设置每个Executor进程的内存。...
2020-04-22 11:13:11
1211
原创 HIVE压缩格式
HIVE压缩开启中间压缩开启中间压缩可以减少job中map和reduce task间数据传输量hive.exec.compress.intermediate=true/falseHadoop默认编/解码器是 DefaultCodec。可以通过属性 mapred.map.output.compression.codec值进行修改。SnappyCodec是一个比较好的中间文件压缩编/解码器，因...
2020-04-20 21:44:13
337
原创 HIVE调优与SQL优化
HIVE调优1、JOIN优化在join连接时将较小的表放于左侧，如果这个表足够的小，会完全载入到内存中，这时hive执行一个map-side join ，可以减少reduce过程set hive.auto.convert.join=true;hive.optimize.skewjoin=true;这个参数防止数据倾斜set hive.skewjoin.key=100000; 这个是joi...
2020-04-20 21:24:36
281
原创 sql实现一行中最大值
sql实现一行中最大值现有一组数据如下greatest函数select name,greatest(x,y,z)max from h3;提示：一行最小值可以用leastcase when写法select name,case when (case when x > y then x else y end) > z then (case when x > y then...
2020-04-15 10:55:34
1977
原创 shell脚本解决远端登陆的问题
通过shell脚本登陆远端服务器#!/bin/bashusename=“用户名”passwd=“密码”ftp -n <<!open ip地址user ${usename} ${passwd}需要写入的操作closebye!ssh 方式登陆#！/bin/bashssh -T 用户@ip地址 <<EOF需要写入的操作EOF另一种方式 spaw...
2020-04-13 10:13:58
258
原创 SQL 行转列 列转行 case when 写法
关于mysql 对 行转列，列转行的sql 编写，只用case when的写法现有一组数据如下，该组数据网上随便找的，具体参考业务需求利用SQL达到如下效果实现语句select name,max(case when subject=‘chinese’ then score end )chinese,max(case when subject=‘english’ then score ...
2020-04-10 10:48:38
3934
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人