python读取excel，转换为JSON/INSERT SQL语句 业务方提供一个几十列、十万w+的excel，需要每月多次写入数据库。每次都需要手动处理数据转换为json或者insert语句。所以想到通过py直接转换为json文件和insert语句。2. 定义表头（第一列）和英文字段（key）的对应关系。4.定义写入文件名称，定义初始SQL。3. 将nan类型转换为None;5.生成json/sql写入文件。
python中nan、字符串 ‘nan‘ 、浮点数 float(‘nan‘) 不同，使用常规替换方式无法转换为None python中nan、字符串 ‘nan‘ 、浮点数 float(‘nan‘) 不同，使用常规替换方式无法转换为None
关于 UNIX_TIMESTAMP函数的趣事 关于 UNIX_TIMESTAMP函数的趣事：select UNIX_TIMESTAMP("2038-01-19 11:14:08") ,UNIX_TIMESTAMP("1970-01-01 00:00:00")
python3连接ES（elasticsearch）时https请求处理 python环境：python3.8.8ES（elasticsearch）版本 7.1.11.进行https请求时，忽略ssl证书验证，将context赋值给ssl_context 即可from elasticsearch import Elasticsearch#查看证书位置import ssl##忽视证书context = ssl._create_unverified_context()ES =["127.0.0.1:9200"]# 创建elasticsearch客户端es = E
hive中小数点处理函数 hivesql 中对于小数点的处理ceil 向上取整SELECT ceil('10.25')11SELECT ceil('10.75')11floor 向下取整SELECT floor('10.75')10SELECT floor('10.25')10round 四舍五入SELECT round('10.25')10SELECT round('10.75')11regexp_extract正则取数0表示把整个正则表达式对应的...
hive udf函数不生效问题 集群环境：CDH5.16.2问题描述：使用hive cli 在hive中创建的了永久的udf函数（当前连接生效，新建连接进入hive cli依然生效），但是当使用hue或者beeline连接，查询方法以及使用时无法找到。UDF函数简介：一进一出。一般由java语言编写，也可以使用python语言编写。hive中常用来做复杂数据清洗。UDF函数创建方式：临时创建：CREATE TEMPORARY FUNCTION function_name As永久创建add jar h.
hive中内部表和外部表有什么区别？一般什么时候使用内部表什么时候使用外部表？ hive中内部表和外部表有什么区别？在使用hive搭建数据仓库的时候，可以建立两种表格。一种是内部表（managed table），一种是外部表（external table）。内部表建表是不加修饰词即可：create table database_name.table_name(column1 string，column2 string)外部表建表时需要加external：create table external database_name.table_name(col
hive中模糊匹配“like”中的bug——count（like）+count（not like） ！=总数据 今日输出报表时使用了like函数，数据统计异常。情况如下，当不加任何条件时，计算数据约为400万+；当加上单一限制条件not like ''，数据总量变为200万+；当加上单一限制条件like ''，数据总量变为137。SELECT count(1) from dwd_bigdata.tablename where fq_dt ='xxxx' --总数为4百万SELECT count(1) from dwd_bigdata.tablename where fq_dt ='xxxx
关注
