weixin_42616544的博客

原创 python连接mysql

【代码】python连接mysql。

原创 mysql磁盘大小

【代码】mysql磁盘大小。

原创 mysql日期格式

【代码】mysql日期格式。

原创 hive分位数

【代码】hive分位数。

原创 rank用法

原创 统计数据有效条数

背景：找到价格字段不为空，有效的数据条数。发现结果数据条数小于该分区总的数据条数。

原创 COALESCE 返回第一个非空字段

https://blog.csdn.net/u011250186/article/details/108663972

原创 hive抽样

【代码】hive抽样。

原创 对表求差集

【代码】对表求差集。

原创 string to map

【代码】string to map。

原创 hive动态分区

【代码】hive动态分区。

原创 get_json_object&mapjoin

【代码】【无标题】

原创 hive数据类型转换

原创 array

【代码】array。

原创 explain

【代码】explain。

原创 spark-sql执行

【代码】spark-sql执行。

原创 collect_set

【代码】collect_set。

原创 hive数据导入异常（部分值为空）

发现导入到hive表，字段acc好多值为空，经排查发现是因为，acc为int，而数据的实际数值过大，需要改为bigint才行。创建表之后，通过hdfs把数据给导入到表中。

原创 load data to orc table

思路：创建一个临时表，存储格式为textfile，然后先将数据导进临时表，再通过select 进orc表。

原创 修改hive表分隔符

【代码】修改hive表分隔符。

原创 hive中加入python udf函数

【代码】hive中加入python udf函数。

原创 hive性能优化

【代码】hive性能优化。

原创 left join

【代码】left join。

原创 hive如何计算一个字符串中某个字符出现的次数

【代码】hive如何计算一个字符串中某个字符出现的次数。

原创 hive load data

【代码】hive load data。

原创 hive load data to orc table

思路：创建一个临时表，存储格式为textfile，然后先将数据导进临时表，再通过select 进orc表。

原创 科学计数法

【代码】科学计数法。

原创 hive 外部表

【代码】hive 外部表。

原创 将一个字段展成多行lateral view

1 假设我们有一个数据存储这个各个用户访问的新闻id，其中content字段为每个用户每天访问的所有新闻id。

原创 修改表字段名以及表信息

【代码】修改表字段名以及表信息。

原创 hive 日期转换

【代码】【无标题】

原创 hive union all

union all, order by

原创 hive

【代码】hive。

翻译 python *arg, **arg

经常在看一些模块的时候，发现*arg, **arg这样的查了一下资料https://pythontips.com/2013/08/04/args-and-kwargs-in-python-explained/*arg, **arg的区别是*arg为非keyword的字符，而**arg为keyword字符举个例子>>> def test_var_args(f_a...