weixin_43220533的博客

hivesql string排序

hivesql

1. 调度参数设置bizdate = $[yyyymmdd-1+6/24] 6/24与数据和时区有关。（时区调度的问题 +6/24 调度时间为18：10， dt即为后天）（时区调度的问题 +6/24 调度时间为18：10， dt即为后天）目前的方案：协调依赖表生产完成时间，此表修改调度时间为17：10...

1. 20220113 遇到的问题情景： sql完成编译发布，表格提交生产环境，运行周期实例补数据20121210-2022011020220115开始的补数据日志中出现报警：Summary: WARNING:[101,79] implicit conversion from STRING to DOUBLE, potential data loss, use CAST function to suppress结果：20220115开始的数据丢失无用：查询到的官方解释不兼容SQL重写 (

记录算法工程师在数据分析方面的小白问题和解决方案。1.数据源同步遇到问题情况：阿里云Maxcompute，同步空间和链接准确，但无法读到空间内的全部生产表。问题定位：原始用的key账号无法实时读到空间内的新生产表，每次申请不现实。已解决：新建空间管理账号，赋予自定义权限。阿里云项目空间：操作人需为dataworks空间管理员。Maxcompute空间管理：https://workbench.data.aliyun.com/console#/MCEngines操作人(da.

1. sparkdataframe to

1. logger.pyimport loggingimport oslog_dir = '../log_d'if not os.path.exists(log_dir): os.makedirs(log_dir)#创建一个loggerlogger = logging.getLogger(__name__)logger.setLevel(logging.DEBUG)#创建一个handler，用于写入日志文件log_path = log_dir+"/" # 指定文件输出路

1. 入库大数据量且快速，使用IO。import iofrom sqlalchemy import create_enginedef write_to_table(df, table_name,schema, if_exists='append'): #engine database db_engine = create_engine('//user:password@host/dbname') string_data_io = io.StringIO() d...

1. Packagefrom pyecharts import options as optsfrom pyecharts.charts import Bar, Line,Pagefrom pyecharts.faker import Faker2. Bar functiondef bar_store() -> Bar: bar = ( Bar() .add_xaxis(year_time) .add_yaxis(

1. Packageimport loggerimport joblibimport lightgbm as lgbfrom sklearn.model_selection import train_test_splitfrom sklearn.model_selection import GridSearchCVfrom sklearn.metrics import mean_squared_error, mean_absolute_erro2. Regression 指标1.

buffersjoinread_as_json个人工作总结参考文章：