陶瑞同学的博客

一只认真写博客的菜鸟

搞懂回归和分类模型的评价指标的计算:混淆矩阵,ROC,AUC,KS,SSE,R-square,Adjusted R-Square

今天看到某同学总结了回归和分类模型的评价指标,两篇博客讲的特别清楚,真心感谢博主的分享,蓝色的大标题是原文链接。 回归模型的几个评价指标 对于回归模型效果的判断指标经过了几个过程,从SSE到R-square再到Ajusted R-square, 是一个完善的过程: SSE(误差平方和)...

2018-09-14 15:28:50

阅读数 1810

评论数 3

shell 后台执行

nohup sh run.sh >log.txt 2>&amp...

2018-08-22 11:14:30

阅读数 1871

评论数 0

python 数据分析、数据处理之超实用的pandas | 表关联连接、新增添加一行记录、空值判断、数据读写、按行输出等

我在博客上分享的都是在实际项目中遇到的棘手的并且解决的问题,整理出来当作知识总结,希望也能帮助到需要的人。 一、dataframe 的merge方法实现千万条数据的关联 这里的temp1是特征数据,有几千万条,temp2是样本标签,有几万条,现在需要拿出有标签的几万条样本的数据,做后续分析...

2018-08-20 14:54:12

阅读数 722

评论数 3

文本分类方向的一点探索 | 解读自然语言处理技术之文本向量和词向量

我们身边每天所产生的信息量正在迅猛增加,而这些信息基本都是非结构化的海量文本。 人类可以轻松处理与感知非结构化文本,但机器显然很难理解。 不用说,这些文本定然是信息和知识的一个宝贵来源。因此,设计出能有效处理各类应用中非结构化文本的方法就显得便迫在眉睫。 文本挖掘这么厉害,他到底能为企业...

2018-05-30 23:12:12

阅读数 1177

评论数 4

读书心得——一个程序员的自我反思

最近和同事相处上出了点问题,可能做技术久了思维比较直接,讲话也直接,这样其实很伤人,在家突然看到了过去一年写的读书笔记,才开始反思自己。 以下是我看过的觉得比较有用的一些文字,记下来的目的是要时刻提醒自己,鞭策自己,做的更好。 关于说话 话不要多,肯吃苦,长点脑子,再加上注意观察,...

2018-05-26 00:17:23

阅读数 1167

评论数 3

Python 中文 文本分析 实战:jieba分词+自定义词典补充+停用词词库补充+词频统计

最近项目需要,实现文本的词频分析,折腾了几天才完成任务,有点成就感,最后整理总结一下这部分的内容,希望更多同僚受益。 使用方法 环境:Python3.6 安装结巴:pip install jiaba 下载停用词词典哈工大停用词词典 构建补充词典userdict,后文详解 运行文章最后面...

2018-04-28 13:47:31

阅读数 7203

评论数 8

python数据可视化之如何用matplotlib画出漂亮美观的趋势图 | 图例、坐标、日期处理、像素、画布大小、分辨率、点标签等问题

1.数据仓库 数据仓库是一个面向主题的、集成的、不可更新、随时间不变化的数据集合,它用于支持企业或组织的决策分析处理 2.什么是hive? hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析...

2018-03-15 13:45:36

阅读数 1995

评论数 0

在Mac OS X上安装Python Igraph | 官方教程

前言 这两天调研复杂网络的技术实现,发现Igraph是一个很优秀的复杂网络开源项目,可是安装的过程中踩了很多坑,pip install 安装后会出现一系列问题,所以看看前人的经验,很多帖子讲的都没有普遍性,最后在igraph官网看到了安装方法,还是比较靠谱。 简介 igraph是免费...

2018-02-09 00:02:29

阅读数 1706

评论数 3

TensorFlow 技术框架解析 | 图文理解深度学习技术实现

最近项目需要,客户想上tensorflow,想把项目做的高大上一点,向我咨询tensorflow的相关问题和部署方案,我要假装自己很懂TF,之前一直在跟进tensorflow的技术进展,最近又做了很多功课,整理出以下内容,用这个ppt给客户讲解并加上TF的demo和tensorboard的可视化演...

2018-02-08 11:34:03

阅读数 6658

评论数 2

大数据架构师之路 | 概念术语理解

架构师,不明觉厉,也是我的追求目标,因此搜集了很多大数据架构相关的知识,理解并整理出来,一起学习。 知识拓展 大数据人工智能行业技术人员必备技能 hive入门 | 数据类型、数据存储、数据结构详解+SQl代码示例 hive进阶 | 数据的导入、数据查询、Java客户端详解+代码示例...

2018-02-08 11:18:33

阅读数 2855

评论数 0

手把手教你制作 中英文 词云 | python demo

以前做词云的时候网上看的python做词云的坑都很多,耗了很多时间才高清楚wordcloud制作词云的精髓和脉络,整理如下。 1.词云生成 wordcloud包的基本用法 class wordcloud.WordCloud(font_path=No...

2018-02-08 11:13:07

阅读数 5902

评论数 5

大数据人工智能行业技术图谱

目录 大数据工程师必备技能 架构师技能图谱 运维工程师必备技能 前端工程师必备技能 CTO技能图谱 程序开发语言综述 机器学习技能图谱 大数据工程师必备技能 架构师技能图谱 运维工程师必备技能 前端工程师必备技能 CT...

2018-02-08 11:12:31

阅读数 2541

评论数 1

人脸识别 + 语音识别实现智能电话会议 | python demo

把最近的调研demo整理出来,实现智能电话会议,我提供两个核心的web服务,一个是人脸识别实现身份确认,一个是语音识别实现会议内容实时转写。 预备知识 python 写一个静态服务(实战) python3.6 编程技巧总结 opencv实现猫脸识别 一、实现流程 ...

2018-02-07 10:20:45

阅读数 2808

评论数 3

修改你的mac主机名

对于 Mac OS 下的终端来说,此时显示的“主机名”就是 HostName,也就是主机真正的名称,我们可以通过命令查看当前的“主机名”: echo $HOSTNAME 如果要修改主机名,可以使用下面的命令: sudo scutil --set HostName ...

2018-01-03 16:31:55

阅读数 7070

评论数 0

用python来做一个APP | python GUI 基础(实战)

上代码import tkinter as tkclass APP: def __init__(self, master): frame = tk.Frame(master) frame.pack(side=tk.LEFT, padx=10, pady=10)...

2017-12-30 20:06:26

阅读数 11726

评论数 5

pycharm中如何换环境变量(Mac版)

点击左上角Pycharm 选择Preferences 选择Project Interpreter 更换环境 点击右下角的OK按钮 完成更换

2017-12-28 16:56:17

阅读数 2661

评论数 0

如何将Anaconda下的python更新到指定版本

最近用Anaconda比较多,因为它里面的包很全啊。如果下个原生的python,要用的时候得自己一个个装。 但是有些包又互相依赖,一个个装的时候实在很抓狂。懒人就想到了anaconda这种套装集合了。 问题来了: Anaconda只能下载一个版本的python,比如最新的Anaconda...

2017-12-15 14:52:37

阅读数 9854

评论数 0

反欺诈建模方案

在反欺诈场景中,知识图谱聚合各类数据源,逐步绘制出借款人的profile,从而针对性的识别欺诈风险。以一个借款人举例,借款人可以有身份证号,手机号,学历等个人信息,属于个人的属性信息;而借款人可以有担保人或是亲属好友,借款人与担保人之间的关系(也就是边Edge)是被担保与担保的关系,借款人与其亲属...

2017-12-15 09:43:53

阅读数 7349

评论数 0

金融知识图谱

知识图谱与机器学习技术对比 相似之处: 都使用海量标注数据集 都以替代人类进行分析实体特征为目标 知识图谱中需要用到机器学习,机器学习也需要知识存储 相异之处: 知识图谱不需要训练 知识图谱可以容忍比较「脏」的异构数据 知识图谱推理的中间结果很容易让人类理解 建造流程...

2017-12-14 11:52:29

阅读数 3301

评论数 3

各种聚类算法(原理+代码+对比分析)最全总结

序言 最近在准备算法面试,百度金融、京东广告数据部、新浪信息部都被我面完了,像58同城、掌阅、宜信这样的口碑不好的公司给我发了面试邀请都被我拒了,只有两家创业公司面试成功。我的认识是对于一个毕业才一年,本科学历的我来说目前最适合我的还是互联网一线公司,虽然前几次面试都失败了,最近几天也分析了失败...

2017-12-14 10:41:20

阅读数 43533

评论数 21

提示
确定要删除当前文章?
取消 删除
关闭
关闭