谢彦的技术博客

静心格物致知

排序：
默认
按更新时间
按访问量
RSS订阅

原 机器学习_TF-IDF逆文本频率指数

1. 原理  TF-IDF（term frequency–inverse document frequency）是信息处理和数据挖掘的重要算法，它属于统计类方法。最常见的用法是寻找一篇文章的关键词。  其公式如下：  TF（词频）是某个词在这篇文章中出现的频率，频率越高越可能是关键字。它...

2019-05-03 19:54:47

阅读数 57

评论数 0

原 自动机器学习框架之三_Auto-Keras

 对于训练深度学习，设计神经网络结构是其中技术含高最高的任务，优秀的网络架构往往依赖建构模型的经验，专业领域知识，以及大量的算力试错。实际应用中往往基于类似功能的神经网络微调生成新的网络结构。  Auto-Keras是一个离线使用的开源库，用于构建神经网络结构和搜索超参数，支持RNN，CNN神经...

2019-04-14 14:36:30

阅读数 43

评论数 0

原 自动机器学习框架之二_AutoML

 Auto ML（Auto Machine Learning）自动机器学习是个宽泛的概念，有不只一个软件以此命名，本篇介绍的Auto-ML并非谷歌基于云平台的 AUTOML。本篇介绍的Auto-ML也是一款开源的离线工具，它的优势在于简单快速，且输出信息比较丰富。它默认支持Keras、Tensor...

2019-04-06 20:21:02

阅读数 125

评论数 0

原 自动机器学习框架之一_Auto-Sklearn

 当我们做完了特征工程之后，就可以代入模型训练和预测，对于模型的选择及调参，主要根据分析者的经验。在具体使用时，经常遇到同一批数据，同一种模型，不同的分析者得出的结果相差很多。  前面学习了几种常用的机器学习方法原理以及适用场景，对于完全没有经验的开发者，只要有足够时间，尝试足够多的算法和参数组...

2019-03-30 14:11:48

阅读数 68

评论数 0

原 TableOne数据分析工具

 前面学习了统计描述和统计假设的Python方法，分析数据表时，需要先确定因变量Y，然后对自变量X逐一分析，最后将结果组织成数据表作为输出，还是比较麻烦，使用TableOne工具可以简化这一过程。  TableOne是生成统计表的工具，常用于生成论文中的表格，TableOne底层也基于scipy...

2019-03-23 21:24:29

阅读数 67

评论数 0

原 Stata中常用的数据分析命令

1. 常用的数据分析工具  Stata、SPSS、SAS、R、Python，甚至Excel都可以做数据分析工作。R和Python是程序员的首选，可以通过编写程序实现成整体的数据清洗、分析、挖掘，还可以增加扩展支持，把一套代码应用于类似的数据分析场景中。对于专业人士（如生物、医疗领域）来说，掌握编...

2019-03-17 18:17:19

阅读数 544

评论数 0

原 Python写日志文件

 日志文件是记录程序操作及事件的记录文件或记录文件的集合。一般由程序开发人员编写，开发、运维人员共同使用，开发人员可以通过日志调试程序，运维人员通过日志检查程序近期是否正常运行，如果出现异常，则可通过日志快速定位问题。因此，用日志记录程序流程，事件，以及异常时的详细信息非常重要，尤其是对于部署在客...

2019-03-09 19:51:47

阅读数 81

评论数 0

原 Seaborn多图组合

1. jointplot 两变量图  数据分析中常用做图的方式实现相关性分析，即X轴设置为变量A，Y轴设置为变量B，做散点图，由于散点图中点的叠加显示，往往还需要关注每个变量自身的分布情况，jointplot把描述变量的分布图和变量相关的散点图组合在一起，是相关性分析最常用的工具，图片上还能展示...

2019-03-02 13:05:01

阅读数 209

评论数 0

原 半小时搞定Hadoop+Mysql+Hive

1. 说明  搭建过Hadoop集群的小伙伴一定知道，如果不用docker，半小时配好Hadoop+Mysql+Hive（后简称Hive）肯定是胡吹，有了Docker镜像，没有说明文档，配好了也不一定会用。本文将介绍如何在半小时内，让Hive在你的Linux系统上运行起来，并且可以通过 Pyth...

2019-02-23 10:21:59

阅读数 115

评论数 0

原 python数据统计分析

1. 常用函数库   scipy包中的stats模块和statsmodels包是python常用的数据分析工具，scipy.stats以前有一个models子模块，后来被移除了。这个模块被重写并成为了现在独立的statsmodels包。  scipy的stats包含一些比较基本的工具，比如：t...

2019-02-17 09:08:25

阅读数 377

评论数 0

原 迁移学习之_猫狗大战

1. 迁移学习  迁移学习（transfer learning）是指将已经学习的知识应用到其它领域，在图像识别问题中，是将训练好的模型通过简单调整来解决新的问题。从图像中提取特征，不一定需要算力强大的GPU，训练上百层的神经网络。  卷积神经网络中卷积层和池化层可以抽取图片的几何特征，比如浅层...

2019-02-08 13:15:50

阅读数 136

评论数 0

原 图片分割之_训练模型和预测

1. 说明  本篇使用Mask R-CNN算法，以及十几张从网络上下载的香蕉图片，训练一个模型。用于识别图像中的香蕉，不同于苹果，桔子，香蕉从不同的角度看差异很大，尤其是三五根香蕉放连在一起，或者整把香蕉的形态和单根香蕉差异很大。可以算是一种识别起来相对困难的水平。  下图是用训练好的模型识别...

2019-02-03 08:26:59

阅读数 70

评论数 0

原 常用的色板

1. 说明  有时候需要从图像中判断某种颜色，或者获取某个颜色区域，此时常用HSV色板判断。因为在HSV的色彩空间中，只需要判断颜色通道即可。本篇介绍HSV色板，及其在python中的转换和使用方法。 2. 色板 (1) RGB  三个通道，红色Red, 绿色Green, 蓝色Blue，值...

2019-01-27 20:53:00

阅读数 88

评论数 0

原 图像处理之_ARToolKit自定义Marker

1. 制作marker  ARToolKit支持两种标记，一种是黑白图，另一种是普通图。 黑白图使用工具mk_patt制作，它有一些硬性的规定，比如必须是黑白图，正方形，且有边框等等。  普通图更灵活，它可以是我们生活中的图像，比如公交卡，身份证等等，但相对黑白图，不那么容易识别，其原理主要是...

2019-01-20 17:31:21

阅读数 125

评论数 0

原 修改上传文件按钮的风格

一段HTML代码，目标是显示bootstrap风络的上传按钮（不带路径显示），且点击后无需再点submit按钮，直接发post请求。 <!DOCTYPE html> <html> &am...

2019-01-19 16:59:34

阅读数 100

评论数 0

原 显示远程机器上的图形界面

在使用 SSH 或 Telnet 从一台Linux机器 A 连接到另一台Linux机器 B 时，通常会遇到 B 机上的图形界面无法显示的问题，报错为：     cannot open display: 此时只需要在你的 A 机上打开配置文件:     $ sudo vi /etc/ssh/s...

2019-01-15 15:25:38

阅读数 84

评论数 0

原 Bootstrap、Python、Flask 做简单的前端

1. 说明  无论做什么类型的程序，都难免需要给别人展示一下。Web展示是个很好的方案，做起来省事，效果好，可交互，无需安装，跨平台，等等等等，算是个必备技能，与做PPT比肩。 前一阵用pyecharts做网页统计图，发现自己做的界面实在太丑，同时又想引用一些现成的风格和控件，于是学习了一下We...

2019-01-12 16:45:50

阅读数 319

评论数 0

原 Docker Build

1. 说明  之前介绍过用commit的方式生成新的Docker Image，今天介绍用Build方式做image，Build方式需要写一个配置文件，然后利用当前是已存在的image，按照配置文件进行调整生成新的image。  相对来说，commit方法更随意，我们用它将现场保存为image，...

2019-01-06 13:36:41

阅读数 587

评论数 1

原 Git常用命令

下载 git clone 地址 列出当前分支：本地/远程 git branch -a 列出本地分支 git branch 切换分支 git checkout -b 本地名 远程名 形如： $ git checkout -b dev origin/dev ...

2019-01-05 21:29:23

阅读数 65

评论数 0

原 Linux下使用SQLServer

1. 说明  SQL Server是由Microsoft开发和推广的关系数据库管理系统。本文介绍在Ubuntu系统下，SQL Server服务端及客户端的安装，基本命令及如何使用python访问数据。 2. 安装  由于SQLServer不在默认安装的软件源之中，在Ubuntu 16.04上...

2019-01-05 15:35:06

阅读数 410

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭