谢彦的技术博客

静心格物致知

机器学习_TF-IDF逆文本频率指数

1. 原理  TF-IDF(term frequency–inverse document frequency)是信息处理和数据挖掘的重要算法,它属于统计类方法。最常见的用法是寻找一篇文章的关键词。  其公式如下:  TF(词频)是某个词在这篇文章中出现的频率,频率越高越可能是关键字。它...

2019-05-03 19:54:47

阅读数 57

评论数 0

自动机器学习框架之三_Auto-Keras

 对于训练深度学习,设计神经网络结构是其中技术含高最高的任务,优秀的网络架构往往依赖建构模型的经验,专业领域知识,以及大量的算力试错。实际应用中往往基于类似功能的神经网络微调生成新的网络结构。  Auto-Keras是一个离线使用的开源库,用于构建神经网络结构和搜索超参数,支持RNN,CNN神经...

2019-04-14 14:36:30

阅读数 43

评论数 0

自动机器学习框架之二_AutoML

 Auto ML(Auto Machine Learning)自动机器学习是个宽泛的概念,有不只一个软件以此命名,本篇介绍的Auto-ML并非谷歌基于云平台的 AUTOML。本篇介绍的Auto-ML也是一款开源的离线工具,它的优势在于简单快速,且输出信息比较丰富。它默认支持Keras、Tensor...

2019-04-06 20:21:02

阅读数 125

评论数 0

自动机器学习框架之一_Auto-Sklearn

 当我们做完了特征工程之后,就可以代入模型训练和预测,对于模型的选择及调参,主要根据分析者的经验。在具体使用时,经常遇到同一批数据,同一种模型,不同的分析者得出的结果相差很多。  前面学习了几种常用的机器学习方法原理以及适用场景,对于完全没有经验的开发者,只要有足够时间,尝试足够多的算法和参数组...

2019-03-30 14:11:48

阅读数 68

评论数 0

TableOne数据分析工具

 前面学习了统计描述和统计假设的Python方法,分析数据表时,需要先确定因变量Y,然后对自变量X逐一分析,最后将结果组织成数据表作为输出,还是比较麻烦,使用TableOne工具可以简化这一过程。  TableOne是生成统计表的工具,常用于生成论文中的表格,TableOne底层也基于scipy...

2019-03-23 21:24:29

阅读数 67

评论数 0

Stata中常用的数据分析命令

1. 常用的数据分析工具  Stata、SPSS、SAS、R、Python,甚至Excel都可以做数据分析工作。R和Python是程序员的首选,可以通过编写程序实现成整体的数据清洗、分析、挖掘,还可以增加扩展支持,把一套代码应用于类似的数据分析场景中。对于专业人士(如生物、医疗领域)来说,掌握编...

2019-03-17 18:17:19

阅读数 544

评论数 0

Python写日志文件

 日志文件是记录程序操作及事件的记录文件或记录文件的集合。一般由程序开发人员编写,开发、运维人员共同使用,开发人员可以通过日志调试程序,运维人员通过日志检查程序近期是否正常运行,如果出现异常,则可通过日志快速定位问题。因此,用日志记录程序流程,事件,以及异常时的详细信息非常重要,尤其是对于部署在客...

2019-03-09 19:51:47

阅读数 81

评论数 0

Seaborn多图组合

1. jointplot 两变量图  数据分析中常用做图的方式实现相关性分析,即X轴设置为变量A,Y轴设置为变量B,做散点图,由于散点图中点的叠加显示,往往还需要关注每个变量自身的分布情况,jointplot把描述变量的分布图和变量相关的散点图组合在一起,是相关性分析最常用的工具,图片上还能展示...

2019-03-02 13:05:01

阅读数 209

评论数 0

半小时搞定Hadoop+Mysql+Hive

1. 说明  搭建过Hadoop集群的小伙伴一定知道,如果不用docker,半小时配好Hadoop+Mysql+Hive(后简称Hive)肯定是胡吹,有了Docker镜像,没有说明文档,配好了也不一定会用。本文将介绍如何在半小时内,让Hive在你的Linux系统上运行起来,并且可以通过 Pyth...

2019-02-23 10:21:59

阅读数 115

评论数 0

python数据统计分析

1. 常用函数库   scipy包中的stats模块和statsmodels包是python常用的数据分析工具,scipy.stats以前有一个models子模块,后来被移除了。这个模块被重写并成为了现在独立的statsmodels包。  scipy的stats包含一些比较基本的工具,比如:t...

2019-02-17 09:08:25

阅读数 377

评论数 0

迁移学习之_猫狗大战

1. 迁移学习  迁移学习(transfer learning)是指将已经学习的知识应用到其它领域,在图像识别问题中,是将训练好的模型通过简单调整来解决新的问题。从图像中提取特征,不一定需要算力强大的GPU,训练上百层的神经网络。  卷积神经网络中卷积层和池化层可以抽取图片的几何特征,比如浅层...

2019-02-08 13:15:50

阅读数 136

评论数 0

图片分割之_训练模型和预测

1. 说明  本篇使用Mask R-CNN算法,以及十几张从网络上下载的香蕉图片,训练一个模型。用于识别图像中的香蕉,不同于苹果,桔子,香蕉从不同的角度看差异很大,尤其是三五根香蕉放连在一起,或者整把香蕉的形态和单根香蕉差异很大。可以算是一种识别起来相对困难的水平。  下图是用训练好的模型识别...

2019-02-03 08:26:59

阅读数 70

评论数 0

常用的色板

1. 说明  有时候需要从图像中判断某种颜色,或者获取某个颜色区域,此时常用HSV色板判断。因为在HSV的色彩空间中,只需要判断颜色通道即可。本篇介绍HSV色板,及其在python中的转换和使用方法。 2. 色板 (1) RGB  三个通道,红色Red, 绿色Green, 蓝色Blue,值...

2019-01-27 20:53:00

阅读数 88

评论数 0

图像处理之_ARToolKit自定义Marker

1. 制作marker  ARToolKit支持两种标记,一种是黑白图,另一种是普通图。 黑白图使用工具mk_patt制作,它有一些硬性的规定,比如必须是黑白图,正方形,且有边框等等。  普通图更灵活,它可以是我们生活中的图像,比如公交卡,身份证等等,但相对黑白图,不那么容易识别,其原理主要是...

2019-01-20 17:31:21

阅读数 125

评论数 0

修改上传文件按钮的风格

一段HTML代码,目标是显示bootstrap风络的上传按钮(不带路径显示),且点击后无需再点submit按钮,直接发post请求。 <!DOCTYPE html> <html> &am...

2019-01-19 16:59:34

阅读数 100

评论数 0

显示远程机器上的图形界面

在使用 SSH 或 Telnet 从一台Linux机器 A 连接到另一台Linux机器 B 时,通常会遇到 B 机上的图形界面无法显示的问题,报错为:     cannot open display: 此时只需要在你的 A 机上打开配置文件:     $ sudo vi /etc/ssh/s...

2019-01-15 15:25:38

阅读数 84

评论数 0

Bootstrap、Python、Flask 做简单的前端

1. 说明  无论做什么类型的程序,都难免需要给别人展示一下。Web展示是个很好的方案,做起来省事,效果好,可交互,无需安装,跨平台,等等等等,算是个必备技能,与做PPT比肩。 前一阵用pyecharts做网页统计图,发现自己做的界面实在太丑,同时又想引用一些现成的风格和控件,于是学习了一下We...

2019-01-12 16:45:50

阅读数 319

评论数 0

Docker Build

1. 说明  之前介绍过用commit的方式生成新的Docker Image,今天介绍用Build方式做image,Build方式需要写一个配置文件,然后利用当前是已存在的image,按照配置文件进行调整生成新的image。  相对来说,commit方法更随意,我们用它将现场保存为image,...

2019-01-06 13:36:41

阅读数 587

评论数 1

Git常用命令

下载 git clone 地址 列出当前分支:本地/远程 git branch -a 列出本地分支 git branch 切换分支 git checkout -b 本地名 远程名 形如: $ git checkout -b dev origin/dev ...

2019-01-05 21:29:23

阅读数 65

评论数 0

Linux下使用SQLServer

1. 说明  SQL Server是由Microsoft开发和推广的关系数据库管理系统。本文介绍在Ubuntu系统下,SQL Server服务端及客户端的安装,基本命令及如何使用python访问数据。 2. 安装  由于SQLServer不在默认安装的软件源之中,在Ubuntu 16.04上...

2019-01-05 15:35:06

阅读数 410

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭