![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法实战
文章平均质量分 83
算法在具体项目的应用
xieyan0811
算法工程师,终生学习者,《Python大数据与机器学习实战》作者
展开
-
实战_用TF/IDF算法对比相似度
原理TF/IDF方法于1983年题出,它先计算每个单词出现的频率,然后适当归一化。利用TF-IDF方法将任意长度的文档缩减为固定长度的数字列表,然后对比文本相似度,gensim工具包提供该方法。简单复习一下具体算法:词频TFtfi,j=ni,j∑knk,jtf_{i,j}=\frac{n_{i,j}}{\sum_kn_{k,j}}tfi,j=∑knk,jni,j其中n是句中词,i是词的索引号,j是文章索引号,k是文章中所有词,上式计算的是词i在本篇出现的比率。请注意:在短文本的情况下原创 2022-05-15 11:37:19 · 1032 阅读 · 0 评论 -
百度自动驾驶系统Apollo源码分析
Apollo(阿波罗)是百度今年发布的汽车自动驾驶系统,它是不是可以无人驾驶?安全性又如何保证?下面我们就来看看自动驾驶指的是什么,以及它是如何实现的.原创 2017-11-09 18:32:55 · 31254 阅读 · 6 评论 -
大数据竞赛平台——Kaggle入门
在学习了一些数据挖掘和机器学习的算法之后,需要积累实际开发经验。在实践的过程中不仅需要自己摸索,还需要向牛人学习和请教。Kaggle就提供这样的数据平台.原创 2017-11-13 19:18:41 · 8932 阅读 · 0 评论 -
实战文本分类对抗攻击
文章写得比较长,先列出大纲,以便读者直取重点。“文本分类对抗攻击”是清华大学和阿里安全2020年2月举办的一场AI比赛,从开榜到比赛结束20天左右,内容是主办方在线提供1000条辱骂样本,参赛者用算法逐条扰动,使线上模型将其判别为非辱骂样本,尽量让扰动较小同时又保留辱骂性质(辱骂性质前期由模型判定,最终由人工判定)。比赛规则线上模型和评测使用的1000条样本不公开,选手根据赛方指定...原创 2020-03-15 10:29:56 · 3890 阅读 · 0 评论 -
迁移学习之_猫狗大战
1. 迁移学习 迁移学习(transfer learning)是指将已经学习的知识应用到其它领域,在图像识别问题中,是将训练好的模型通过简单调整来解决新的问题。从图像中提取特征,不一定需要算力强大的GPU,训练上百层的神经网络。 卷积神经网络中卷积层和池化层可以抽取图片的几何特征,比如浅层的卷积用于抽取出一些直线,角点等简单的抽象信息,深层的卷积层用于抽取人脸等复杂的抽象信息,最后的全连接...原创 2019-02-08 13:15:50 · 1450 阅读 · 1 评论 -
实战_瑞金医院MMC知识图谱大赛初赛
1. 说明 《瑞金医院MMC人工智能辅助构建知识图谱大赛》是一个天池的自然语言处理相关的比赛,初赛是命名实体识别(Named Entity Recognition,简称NER)。具体说,就是从医学文档里标注出药名,疾病,病因,临床表现,检查方法等十二种实体的类别和位置。这是一个有监督学习,它的训练集是标注好的医学文档。 还是延续以往比赛的思路,找一个类似的简单项目,在其上修修改改,于是找到...原创 2018-12-01 17:51:54 · 3434 阅读 · 5 评论 -
实战A股上市公司季度营收预测
1. 说明 FDDC2018金融算法挑战赛01-A股上市公司季度营收预测,是天池最近的一个算法比赛,7月15是初赛提交的deadline,就最后两天了,也没法做得太细,看看怎么用最短的时间,抓住最关键的值,搭个简单的架子。2. 数据分析1) 预测目标 2018年二季度的营业收入。2) 已知数据 题目提供的除了报表数据,提交格式以外,还有一...原创 2018-07-14 20:47:53 · 3285 阅读 · 2 评论 -
实战天池精准医疗大赛——观看答辩总结
1. 说明 今天是天池精准医疗大赛(糖尿病预测)的最终答辩,学习了一下前六名的经验分享.把自己没想到的列出来,如下.2. 特征(1) 多特征组合:一般是现有特征加减乘除的组合,在特征多的情况下,先取强特征相互组合.(2) 数据分析:常用分析方法:IV值分析(information value),方差,残差,单变量分析,PCA等等.特征的相关性...原创 2018-04-28 17:15:25 · 990 阅读 · 1 评论 -
实战量化投资大赛之二_GBDT模型
1. 说明 对股票预测这种典型的时序问题,使用梯度下降决策树,确实是有点生搬硬套.主要思路是想使用提供的特征值f1-f87,看看哪些特征更加重要. 具体方法是把历史数据用计算趋势和移动平均线的方式添加到特征之中,此时记录的前后顺序就不再重要,用122天(半年)后的价格作为结果Y,随机将所有记录分成训练集和测试集,做回归模型.线上最高得分47左右.2...原创 2018-04-08 19:47:11 · 1243 阅读 · 0 评论 -
实战量化投资大赛之一_baseline
1. 说明 昨天在群里看到了:凤凰金融量化投资大赛,详情见: http://www.dcjingsai.com/common/cmpt/%E5%87%A4%E5%87%B0%E9%87%91%E8%9E%8D%E9%87%8F%E5%8C%96%E6%8A%95%E8%B5%84%E5%A4%A7%E8%B5%9B_%E7%AB%9E%E8%B5%9B%...原创 2018-03-30 17:17:24 · 2098 阅读 · 0 评论 -
实战天池精准医疗大赛——复赛总结
1. 说明 精准医疗复赛结束,最终排名在20左右。第一名的大神相当厉害,尤其是换数据之后,那分数简直是甩出其他人好几条街,非常想学习一下他的解决方案,可惜答辩定在七月,而且不一定公开,估计到时候都忘了。 我在复赛中用的是个中规中矩的方案,也在这里记录和分享一下,写得比较随性,各位就别当纯技术文档看了。2. 特征工程(1) 特征去噪 噪声数据是...原创 2018-03-09 13:46:09 · 1615 阅读 · 4 评论 -
实战天池精准医疗大赛——复赛之妊娠糖尿病与基因数据分析
1. 说明 初赛提供的是血常规,肝功能,肾功能,生化的检验结果,预测血糖的具体值。复赛加入了SNP的五十多个位点数据,预测被试者是否为妊娠糖尿病,是个二分类问题。下面做了一些简单的数据分析和相关资料采集。2. 糖尿病相关的SNP数据重要性排序 SNP数据取值为1,2,3,为枚举值,没有大小关系,因此做onehot编码,转换为形如:SNP1_3,表示SNP...原创 2018-03-01 11:04:14 · 2602 阅读 · 2 评论 -
实战天池精准医疗大赛之四_初赛总结
1. 说明 这两天因为改赛制,改评测方法,钉钉群里说什么的都有,我也跟着焦虑,做了小一个月,虽然对自己的算法有点信心,但是强人也很多,不知能不能进复赛.复赛数据和目标都不一样,相当于一场新的比赛. 在赛前,比赛的第一周结束,第二周结束,各发过一篇:《实战天池精准医疗大赛之一数据分析》《实战天池精准医疗大赛之二再接再厉》《实战天池精准医疗大赛之三_分类回归与排序》 本文是初赛原创 2018-01-30 13:24:13 · 1431 阅读 · 0 评论 -
实战天池精准医疗大赛之三_分类回归与排序
1. 说明 开赛第一周挣扎在前100的边缘,第二周挣扎在前20的边缘,第三周懒得弄了,坐等换数据。初赛的前100名可进复赛,所以在前100中排名前后也没啥意义,开始的时候觉得自己分数蒙的成份很高,换了数据就完蛋,然后不断改进,坐实;后来就有点瞎叫劲了。又傲娇又胆小,也没结交到队友,至今还是孤军作战。记录一下本周收获,也不知这些都公开之后会不会被打出排行榜[哭脸]。2. 分类与回归 所有原创 2018-01-30 13:22:58 · 1478 阅读 · 0 评论 -
实战天池精准医疗大赛之二_再接再厉
1. 说明 之前参加的都是往期赛,新人赛,这是第一人参加正式比赛,先谈谈感受。 天池精准医疗已开赛一周,排行搒上大家整体的误差从0.9提升到0.8,也就是说一开始0.88分还名列前茅,一周之后,这个分数早已榜上无名了。比想象中激烈,我也是反复出榜(榜单仅列出前一百名),偶尔侥幸进入前十,时刻准备着再次被踢出排行榜, 也算是体验了一把逆水行舟的乐趣。 很多时候反复实验仍然提高不了成绩,感觉完全没原创 2018-01-30 13:21:49 · 1443 阅读 · 0 评论 -
实战天池精准医疗大赛之一_数据分析
1. 赛题说明 天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测,这是明天即将开始的天池大数据比赛。赛题名字看起来很高深,其实是根据年龄,性别,肝功,血常规等体验指标,预测血糖值。数据挺少的,特征40个左右,训练集5000多个实例,测试集1000个实例。任何机器都能很快跑完。比赛地址:https://tianchi.aliyun.com/competition/introduction.原创 2018-01-30 13:20:17 · 5213 阅读 · 1 评论 -
实战淘宝穿衣搭配
此题代表了一类典型的问题:从以往的用户行为中寻找规律,以便辅助和引导用户之后的行为,像视频,新闻,购物推荐都属于此类问题,俗称啤酒尿布问题(在超市购物时买尿布的往往也买啤酒)。原创 2018-01-03 15:55:39 · 2800 阅读 · 3 评论 -
实战微博互动预测之三_xgboost答疑解惑
具体算法还是使用xgboost库,之前看到的大多数关于xgboost的文章,要么是讲数学原理,要么是参数的中文说明,xgboost似乎还是一个黑盒,下面就结合具体问题看看xgboost的使用。原创 2017-12-15 17:37:16 · 2751 阅读 · 1 评论 -
实战微博互动预测之二_中文分析
计算得出的结论和人的经验类似:带表情的更容易得到反馈,自己写的更容易得到反馈(不带标题,不带链接),带链接的容易被转发,带@得到的反馈较少,正文长度与转发相关……原创 2017-12-12 18:14:52 · 2407 阅读 · 0 评论 -
实战微博互动预测之一_问题分析
新浪微博互动预测代表了现实中的一类应用:数据量大,需要参赛者提取特征,数据有现实中的意义,无规律数据占多数,可多维度分析...原创 2017-12-08 13:21:04 · 8893 阅读 · 3 评论 -
实战人品预测之三_向高手学习
本篇以学习冠军“不得直视本王”的竞赛报告书和代码的方式,对比自己的不足,开拓思路,学习一些书本上没有的实战技巧。原创 2017-12-06 12:09:31 · 531 阅读 · 0 评论 -
实战人品预测之二_热门模型xgboost
有人戏称数据挖掘比赛为GBDT调参大赛,因为在很多比赛后期,大家都使用GBDT类的算法,特征类似,只有模型参数不同,模型集成方法不同,最终大家的成绩差别也很小。原创 2017-12-06 11:19:34 · 1920 阅读 · 0 评论 -
实战人品预测之一_国内大数据竞赛平台
比赛的主题是通过数据挖掘来分析”小额微贷“申请借款用户的信用状况。提供的特征以x1,x2…表示,也就是说不知道各特征的具体意义。共1400个特征,带标签数据15000个,不带标签数据50000个,最终需要对5000个数据进行预测,上传预测结果,得到线上的AUC评分。原创 2017-12-05 19:56:17 · 1305 阅读 · 0 评论 -
实战美年健康AI大赛之四_复赛使用数加平台
1. 说明 美年健康AI大赛的复赛是线上赛,只能使用数加平台。第一次用数加,也遇到一些问题,在此总结一下。2. 问题及解答(1) 如何登录? 得到复赛资格之后,天池赛题网页左侧的列表中就会多出一项“数加”,点击进入后,按提示得到RAM帐号,即可以登录“数据开发平台”和“机器学习平台”,注意登录帐号是用户名和企业别名的组合。 网页上提供的Demo有点旧了,是2015年的,那时候好像还叫“御膳房”。建...原创 2018-05-13 16:12:23 · 552 阅读 · 1 评论 -
实战美年健康AI大赛之三_大数据量的简化
1. 说明 美年健康也是一个认真打的比赛,初赛B榜最高分0.0279,排名15. 最初是想用它实践一下自然语言处理,后面发现,另一个与之前比赛不同的地方,就是数据量很大,之前也做过几十上百万条记录的,但是特征少,这次57000多个记录,2700多个特征.从提取特征到训练完成,我的代码要跑近三个小时,后来审核代码的阶段,在群里看到很多人代码都需要运行...原创 2018-05-10 11:26:50 · 1011 阅读 · 0 评论 -
实战美年健康AI大赛之二_相关问题与思考
1. 说明 上次把钉钉号写回复里了,最近就有不少师兄加我,问一些关于比赛的问题,五一后可能也没啥时间回复了,下面就把常见的问题统一总结一下,只是我个人理解,欢迎大家纠正指导。2. 你用了哪些方法做到0.286? 说出来可能有人不信,我只用了五折的lightgbm,参数都没怎么调,去缺失值,去噪,特征选择,归一化,模型融合,目前为止都没做,所有...原创 2018-05-01 14:24:41 · 546 阅读 · 0 评论 -
实战美年健康AI大赛之一_自然语言处理
1. 说明 一直想找个自然语言处理(NLP)相关的比赛.起始看到"美年健康AI大赛"的时候,觉得和之前糖尿病比赛很相似,还是GBDT调参大赛.解包一看几百兆数据,觉得自己机器可能跑不动(后来确实加了一条内存),都没打开看数据就放弃了. 后来两个朋友都推荐做这个比赛,说是NLP的,打开数据一看,欸~还挺有意思的.数据量大的好处是稳定,我线上线下基本是...原创 2018-04-20 13:53:23 · 740 阅读 · 0 评论 -
实战药物分子筛选之一_初探
1. 说明 基于人工智能的药物分子筛选,是最近在DC大数据平台上看到的一个新比赛.这个题目对于我这种半科盲来说好难.花了一些时间才弄明白它是干嘛的.这是一家药品公词举办的比赛.我理解题目是这样的:给出三种数据:致病蛋白信息(病),小分子信息(药),蛋白和小分子间的亲和力(药和病能否结合),预测N种没见过的致病蛋白与已知的小分子之间的亲和力.简单地说就是知...原创 2018-04-13 15:05:14 · 2818 阅读 · 1 评论