2018年10月_喜东东cc

转载【Python】pandas实现row_number() over()函数

原文：https://blog.csdn.net/qq_22238533/article/details/72395564'''dataset: DataFrame格式数据集partionby：分组依据字段orderby：排序依据字段asc:是否为升序；1:升序；0:降序return series格式：序号'''def row_number(dataset, partion...

2018-10-26 13:36:30 13559

原创【Finereport】限制控件参数不为空

在报表开发时，出于合规化和数据量的原因，会要求某些筛选项控件不为空，总结了以下几种方法：1.控制--属性属性→检验→去掉允许为空→错误信息（填写提示语）2.Search控件--点击事件Search控件（查询）→事件→新增点击事件→JS编码var Widget = this.options.form.getWidgetByName("员工姓名");var name=Wid...

2018-10-23 13:41:06 4598

转载【Linux】解压分卷压缩的zip文件

由于文件大小限制，先对文件进行了100MB的分卷压缩，得到文件：test.zip、test.z01、test.z02上传至linux系统后，对文件进行解压：# 1.先合并文件cat test.z* > testall.zip# 2.解压unzip testall.zip ...

2018-10-23 11:30:22 19678 4

转载【Python】Json解析各种问题

1.数据不规则，需提取{}内的内容result = json.loads(re.findall(r"{'.+?'}", str(test)))2.json字符串中的非法双引号转自：https://blog.csdn.net/weixin_39198406/article/details/81709397def deal_json_invaild(data): data ...

2018-10-19 17:51:13 1365

原创【Hive】partition分区日期值错误

insert overwrite table test1 partition(date)select date as date1, date from test2执行类似以上sql时，最终跑出来的date1值没有问题，但是分区字段date则会+1day，出现值错误，很诡异；找了很久原因，失败告终，最终使用一个很白痴的方法解决：date_add(date_add(date, -1), ...

2018-10-15 14:27:35 2431

转载【Hive】to_date(null)报错

Hive的一个BUG，to_date()不接受NULL值，可先对NULL转换数据格式：select to_date(cast(null as timestamp));https://issues.apache.org/jira/browse/HIVE-12502

2018-10-09 13:35:25 3516

转载【Python】linux下添加Python环境变量

永久性添加：https://blog.csdn.net/idKevin/article/details/78524226

2018-10-09 10:02:07 11020 1

原创【Hive】分箱

一.等距分箱/等宽分箱1.概念：将变量的取值范围分为k个等宽的区间，每个区间当作一个分箱。2.方法数学运算：通过向上取整ceil() 和向下取整floor() -- 对col进行0.1宽度的分箱select col, ceil(col*10)/10 as group1, floor(col*10)/10 as group2from( select stock(5...

2018-10-08 14:14:02 7434 1

喜东东的博客