- 博客(4)
- 收藏
- 关注
RSS订阅原创 MySQL建表并将csv文件导入表的步骤及所遇问题
MySQL建表并将csv文件导入表的步骤及所遇问题步骤一：建表dim_bi_productspe_scdDROP TABLE dim_bi_productspe_scd;CREATE TABLE IF NOT EXISTS dim_bi_productspe_scd( BIProductSpeKey BIGINT ,BIProductSpeID BIGINT ,ProductSpecId
2020-09-27 16:19:00
2047
原创 调度运行shell脚本，报错line 12: $‘\r‘: command not found
在调度任务中运行shell脚本，遇到问题：./purchase_in_stock.sh: line 12: $’\r’: command not found原因：该shelll脚本在windows系统下运行，该系统每行的结尾是\r\n，在调度任务中是linux系统，该系统每行的结尾是\r，因此会报错。解决办法：将文件转换格式改为LF~LF：unix/linux/macos (\n)CRLF: windows (\r\n)CR: classic macos (\r)...
2020-09-27 11:37:06
862
原创 将数据导入kudu表（建立临时hive表，从hive导入kudu）步骤
步骤一 hue中选择impala，建立kudu表（注意：hue中选择hive无法建立kudu表，因为hive不支持）步骤二 hue中选择hive，建立hive临时表drop table dim_bi_productspe_scd_hive;CREATE TABLE if not exists dim_bi_productspe_scd_hive( BIProductSpeKey bigint COMMENT 'BI设计统一SpeKey' ,BI
2020-09-24 23:59:11
6073
原创 python采购风控-采购异常单价logistic算法实现及打标签注意事项
项目描述现在想用机器学习中的有监督学习算法来识别采购异常单价，但是问题是缺少打标签的数据。因此，首先，使用统计学（3sigma以及箱线图）的方法分别得到异常单项，取这两种方法的交集，然后按采购人汇总，发现数据还是很多，故取交集中的前10%的数据，得到异常数据。打标签Top10%的采购人，到3sigma（或箱线图）异常表中获取这些采购人下的所有异常单项，视为error=1的，放入表格data_false;在原始表格中删去error=1的这些数据，那么得到的就是正常的数据了，放入data_true.
2020-09-24 15:04:34
392
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人