2017.07.28回顾

最新推荐文章于 2017-07-31 20:25:50 发布
最新推荐文章于 2017-07-31 20:25:50 发布
阅读量224 收藏
点赞数
分类专栏： 日记 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strwolf/article/details/76416259
版权
日记 同时被 2 个专栏收录
290 篇文章 0 订阅
订阅专栏
python
70 篇文章 0 订阅
订阅专栏

1、花了大半天的时间前情提要

2、各个指标浏览一圈

3、继续kaggle zillow的问题，开始尝试去除离群点，采取箱线图的3倍四分位距的方法，排除了极端异常值，然后拟合的时候自己尝试了下xgboost，但是调参失败了，最后得出的值都差不多，后来仿照了别人的调参方法，提交，结果排在了1011位，还需要调整。浏览了一下xgboost的调参指南，有些没涉及到的参数只有一个浅显的印象，还有些参数是train方法的参数，这些需要看看xgb的官方文档


strwolf
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2018-08-09笔记
KKing胡的博客
05-28 604
压缩打包 gzip压缩工具 选项 bzip2压缩工具 选项 xz压缩工具 zip压缩工具 压缩文件 压缩目录 zip -r 解压 unzip tar打包 打包并压缩 拓展知识 压缩打包 常见的压缩文件： Windows：.zip .7z .rar Linux:.zip, .gz, .bz2, .xz, .tar.gz, .tar.bz2, .tar.xz ...
2018.12.28
weixin_43185011的博客
12-28 1744
关于细胞分化轨迹学习小笔记相关学习文章一、学习框架1.降维 相关学习文章 链接1: Reversed graph embedding resolves complex single-cell trajectories–2017（ 《Nature Methods》被引量40）. 链接2: Reconstruction of complex single-cell trajectories using...
2017.07.18回顾
strwolf的专栏
07-18 227
0、昨天晚上更新了iv工具包，对数据集X进行检测，对于含有缺失值的字段，将抛出错误，并指出哪些字段存在缺失值，主要还是用之前写的find_na_column函数，这个函数主要就是靠pd.isnull来实现，然后如果存在miss_columns，会抛出错误，这里抛出错误，我起初是想找一个built-in的类来raise，但是发现没有符合我这种错误的，就只好用Exception基类包装，最后一个老的操
2017.07.19回顾
strwolf的专栏
07-19 185
1、今天主要是修改并上线了rolling variable，然后阐述了一些自动化不太便于实现的地方 2、模型通过率方面扯了一会儿，写了个SQL，基本和每日邮件中的数据吻合 3、上传了昨天修改的iv工具包 4、下午开会，反正就是站在真理的一端据理力争 5、给新人布置了任务 6、看了下kaggle的新赛题 感觉今天干的事情比较少啊，效率低了，要加快动作
2017.07.31回顾 LabelEncoder xgb.cv
strwolf的专栏
07-31 4418
1、花了少量时间补充上周五的小结 2、然后开始继续抄作业 kernel去除outliers的方法是用的常数，-0.4和0.4，为什么这样设计，并没有给出说明，这个值是介于2 delta和3 delta之间缺失值处理方面，全部用-1填补对于类型为object的变量，使用了一个sklearn.preprocessing中的LabelEncoder，这个类使用上需要建立一个实例，使用方法很简
2017.07.25回顾 骚气EDA研究学习
strwolf的专栏
07-26 603
1、上午主要是开发新的rolling variable，算出woe，明天可以完成 2、另外一个主要工作是和新同事交流，关于两个变量分布变化对woe的影响，有一些新的发现，我推翻了昨天自己的猜想，也就是分布变化，woe一定会改变，我发现是能构造出分布改变，但是woe不变的情况，而且分布的变化是能通过卡方检验的，还有就是第二个猜想，分布变化越大，woe变化越大，同事构造的一些数据也说明了不一定成立，
2017.07.20回顾 xgboost安装 xgboost抄作业
strwolf的专栏
07-21 365
1、上午主要就做rts的逻辑，稍微改了一下PTI的限制逻辑，然后编辑邮件，差不多时间进行提交 2、在这中间处理了一个老客户的问题，处理了live_time和work_time疑似BUG的问题，和新人讨论了一些最新的分析结果，其中我对非参检验和参数检验还不是很清楚，需要下来学习，老实说卡方检验的原理，我也只看过一半，应用点到是知道，她新提到的KS检验，我基本不了解 3、今天剩余时间主要就是抄作业
2017.07.03回顾 matplotlib作两个y轴图形
strwolf的专栏
07-03 1000
今天主要是解决python绘图的问题，基本上是完成了一个可以交付的图形，像这样 也就是共用一个x轴，有两个y轴，我参照matplotlib官方的example，写了个定值的demo，然后结合自己的程序，也了一个变量化的，先看看demofig, ax1 = plt.subplots() #生成一个图对象，一个坐标对象 #fig.subplots_adjust(left=0.2, right
2017.07.04回顾 dataframe组合 groupby sort to_csv不存index
strwolf的专栏
07-04 3505
今天主要是建模的事情，小结一下 1、我使用了6种不同的y定义，然后写了一个程序去计算平均iv，这个程序中主要是对pandas的回顾 多dataframe的组合，pd.concat((df1,df2,df3,df4,df5,df6),ignore_index=True)默认axis=0，就按行组合，相同的表头会忽略掉，重新起序号，用ignore_index = Truedf的groupb
python post content-type:multipart/form-data 类型的表单数据
热门推荐
strwolf的专栏
01-10 1万+
表单数据post默认为application/x-www-form-urlencode，可以为标签加入属性enctype=multipart/form-data，使得post的数据按multipart/form-data编码，这种格式通常用于文件上传，二进制传输，但是普通表单数据也可以使用multipart/form-data。      python处理multipart/form-data的
2017.05.10回顾 numpy学习 其他python woe iv实现参考
strwolf的专栏
05-11 6549
1、昨天早上一来写小结都花了1个多小时，到11点3分结束，期间我在小结pandas相关用法的过程中，领悟了新的建空dataframe，然后不断append的方法 2、小结完后，监控了一下坏账和模型运行状况 3、上午小结完后，开始着手，合作方黑名单的问题，进行了一些设计和思考，还有处理一些杂事，比如解答boss的疑惑，差不多上午结束 4、下午继续合作方黑名单的问题，进行了一系列修改，没什么新东
linux安装cx_Oracle模块
strwolf的专栏
06-06 5341
数据库版本为11.2，linux环境64位 去http://www.oracle.com/technetwork/topics/linuxx86-64soft-092277.html下载oracle的精简版客户端，instantclient-basic-linux.x64-11.2.0.4.0.zip和instantclient-sdk-linux.x64-11.2.0.4.0.zip，下载需要登录
2017.07.24回顾 plt.hist直方图绘制
strwolf的专栏
07-24 4246
今天是新的一周的第一天，状态不是很好，还沉浸在周末的喜悦之中，无论好与坏，还是对今天的工作做一个小结吧。 1、完成了接口的拆分上线，一些检查和督促工作 2、和新人讨论关于两个变量分布变化影响的问题，一个是看了改变前后的变化，实际上14号改变前后变化并不大，看起来像是按比例分配到后面的value上去，但是也有一些轻微的左偏，说明建模数据集的分布和14号之前全量的客户数据分布存在一定的差异，建模的
2017.05.15回顾 numpy新东西学习 scoreatpercentile
strwolf的专栏
05-16 3369
1、昨天上午精神不是太好，周末玩太疯没完全恢复过来，上午主要就是解决了那天抓付款方式那个SQL的问题，我用了单步调试的方法搞清楚了表与表之间的关系，这种SQL写法感觉也是一种我不太常用的思路，而且有时候把条件写在where后面是有道理的，做一种过滤，join是无法达到那种效果的 2、下午对前置模型做了一些调整，温习了一个新的方法has_key，dict.has_key(key_name)，如果有
sklearn中gbdt源码解读笔记
strwolf的专栏
01-12 3368
这周已经过去了3天，主要精力都是集中在sklearn的gbdt代码解读上，进展肯定是有，但是感觉阻力比较大，但是这又有什么办法呢？人一能之，我十之！但是感觉有时候多花时间的情况下效率很低很低，但是可能也是自己内心浮躁，想回去玩造成了这种效率低下，要看这个算法，只有不到黄河心不死的决心，即便我被迫需要先应用再解读，我也一定要花时间去解读，一定要精通这个算法，排除万难！把前几天关于gbdt的解读再总结
2017.07.27回顾 ET和RT比较 高级切片 argsort barplot(yerr=) xgb.plot_importance
strwolf的专栏
07-28 3034
1、一到办公室写了上一日的小结 2、昨天帮同事拉进白名单，就只能顺带更新了channel rolling variable，运行良好 3、看了下ExtraRandomizedTrees和randomForest的文档，随机森林是有放回的抽样，样本数等于原始样本数，特征数随机子集，结果回归用average，分类用voting（但是sklearn的实现是对probability的average），
2017.06.13回顾 series筛选
strwolf的专栏
06-13 2876
1、上午涉及到几天的小结，所以差不多用了一个上午的时间，小结中确定了早睡的督促办法 2、做员工贷的逻辑，没什么新东西，写了新的逻辑 3、尝试了7C的最大授信逻辑，但是有一些问题，搁置了 4、然后就是同盾的在网时长改版的问题 5、晚上主要是做标准评分卡的工具包，主要解决几个问题，一个是离散化的问题，离散化只能按照去重后的value个数来，还有就是没写group数量太小，结果不稳定的问题，类似
2017.05.23回顾 python引用赋值 reset_index pd.concat
strwolf的专栏
05-25 2621
这两天实在是太忙，甚至都忽略了写博客，今天把23和24的博客补起来，节奏不能乱，不管多忙，老子都要写博客，磨刀不费砍柴时，博客写好，后续的工作效率会更高 1、23号我上主要是在建模写拉数据的SQL，上午基本完成 2、测试来找我改一些假接口，测试FOX的写入需求，中午完成，都是有bug，下午改了几次 3、IT来找我，对AS结果进行组合，改好上线 4、下午剩余的时间继续建模，我对别人的WOE工
IntelliJ IDEA 2017.2.5快速搭建Spring Boot/Cloud项目：图解教程
本文将详细介绍如何在IntelliJ IDEA 2017.2.5 x64版本中利用Spring Initializr插件快速创建Spring Boot和Spring Cloud项目。首先，如果你使用的是最新安装的IntelliJ IDEA，可能发现Spring Initializr插件并未预装，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值