个人出坑大全

个人出坑大全

---

前言

记录小白在工作和学习中遇到的各种问题和各种坑
不定期更新，闲来没事自己看看
大佬勿喷

---

20201228 sql语句的标识符问题

手误或者啥，反正写代码不仔细，总是缺少或者多了标识符，‘，’或者‘（）’等等，数据库报错通常为未找到from关键字等等。

20201231 python使用format函数问题

python使用字符串的format时，遇到字符串内部存在{}时，将内部的{}变为双大括号，即{{}}，不改变内容，否则本身的{}也会被当做需要传参数的位置，此外，字符串内部所需要的重复参数可以传入位置参数，方便修改。

20210104 dataphin句不符合逻辑校验

查看是否少了函数，少了字符，导致代码不能正常运行，即不符合正常代码要求，少了form或者多了where这种问题。

20210105 dataphin的日期函数

dataphin的日期函数都是坑
1：dateadd（date,-1,‘month’） 返回上个月的日期 但是不是最后一天对应的日期
2：last_day(string) 返回string日期的月最后一天 ----- str格式2020-01-01

例如求字符串20131130的上个月最后一天

to_char(
   to_date(
       last_day(
          to_char(
             dateadd(
                 to_date('20131130', 'yyyymmdd')
                                               , -1,'month')
                                                 ,'yyyy-mm-dd'))
                                                   ,'yyyy-mm-dd')
                                                     ,'yyyymmdd')

20200105 excel截取字符串函数

excel函数left,right,mid函数截取字符串
mid可以截取中间到最后 =MID(B101,3,1000)，不足1000到最后为止
left，right分别从左右开始取字符串

20210121 dataphin执行顺序

dataphin真坑，多语句在一个文本执行，执行顺序不一定按照位置顺序来，中间部分可能未执行，执行时不可放一起跑，淦。
重复插入操作较多时，使用内置的python脚本来跑，设置循环用format一个个替换字符串参数一个个跑。

20210219 Oracle函数WMSYS.wm_concat

Oracle函数WMSYS.wm_concat，用于将一列的几个数据合并为一条数据，类似于求和操作，注意group，出现乱码需要to_char()转为字符串格式，可正常显示。

20210220 python安装tensorflow问题

按照代码

pip install --upgrade --ignore-installed tensorflow

经常出现错误且下载速度很慢
可能是网络不稳定导致，可以设置延迟检测时间变长来解决，还可以使用清华或者豆瓣镜像来下载。速度会快很多。

pip  --default-timeout=1000 install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow

20210302 python导出csv中文乱码问题

df2.to_csv('im_data/im_sim.csv',encoding='utf_8_sig',index=False)

20210302 解决jupter显示不完全问题

pd.set_option('max_columns',1000)
pd.set_option('max_row',300)
pd.set_option('display.float_format', lambda x: '%.5f' % x)

20210331 python运行memory error问题

计算大量数据内存不足时，拆分代码分布进行，或者先删去不需要的存贮变量，释放内存

del X, Y, df, target

20210331 python随机森林模型保存后太大问题

直接保存模型，此时会连带模型数据一起保存，造成保存的模型太大

forest.fit(x_train, y_train)
print()
joblib.dump(forest, "train_model.pkl")    # 模型存储

把拟合的模型赋值给一个变量，存贮其参数，，再将整个变量保存。此外，还可以设置压缩比例，使用compress参数，0-9，代表压缩比例越来越高。

fun = forest.fit(x_train, y_train)
print()
joblib.dump(fun, "train_model.pkl", compress=9)    # 模型存储

20210406 oracle求同比环比问题

前提条件，月份时间格式数据，使用lag函数，月的环比，使用滞后一期数据，去年同期同比，使用滞后12期数据。

(case when NVL(LAG(t1.PAY_ACTUAL_MONEY, 1, 0) 
OVER(PARTITION BY t1.DRAWEE_TAX_NO ORDER BY t1.pay_month),0)=0 then 0 
       else  t1.PAY_ACTUAL_MONEY/(NVL(LAG(t1.PAY_ACTUAL_MONEY, 1, 0) OVER(PARTITION BY t1.DRAWEE_TAX_NO ORDER BY t1.pay_month),0))-1 end)
          as 支付额环比增长,
(case when NVL(LAG(t1.PAY_ACTUAL_MONEY, 12, 0) 
OVER(PARTITION BY t1.DRAWEE_TAX_NO ORDER BY t1.pay_month),0)=0 then 0 
       else  t1.PAY_ACTUAL_MONEY/(NVL(LAG(t1.PAY_ACTUAL_MONEY, 12, 0) OVER(PARTITION BY t1.DRAWEE_TAX_NO ORDER BY t1.pay_month),0))-1 end)
          as 支付额同比增长, 

20210407 jupter 生成幻灯片

dos窗口进入文件所在路径，先打开文件，在ipynb文件的view里设置那些作为幻灯片，那些跳过，然后dos里执行语句

jupyter nbconvert loss_customer.ipynb --to slides  --TemplateExporter.exclude_input=True  --post serve

20211228 下载安装tensorflow

好长时间没有更新，回来更新一把，主要因为被坑惨了，分享一下
如题，尝试各种方法，在jupter里面安装新python环境，dos窗口执行各种命令，最后都不行
这里重点点赞pycharm
按照网上的pycharm安装tensorflow步骤重新尝试后一次性成功安装
步骤：
1、安装python3.6.5，去官网自己下载，安装；
2、安装社区版pycharm，同样去官网；
3、在pycharm的files – setting – project:pythonproject – pythoninterpreter
选择新安装的python3.6.5编辑器，点击加号新安装python包，输入tensorflow点击install直接搞定；
最终版本：
python版本3.6.5
pycharm版本2021.03
tensorflow版本2.6.2 – 没换版本，暂时没报错啥的

20220214 python中numpy.float64位类型转化为float类型

numpy处理后，如percentile计算后数据类型为numpy.float64而非正常的float类型，通过各种方式如

a.astype('float')

结果其实还是numpy.float64，唯一方法是直接使用

float(a)

再将其转化为python的float类型
（ps:暂时没找到别的方法）

20220317 python中numpy.float64位类型转化为float类型

总结

小白的求知之路。