刘明的博客

记录我的点点滴滴

Boosting方法中的特征重要度

来源三个文档: DecisionTree, XGBoost, LightGBM。 Decision Tree 地址:DecisionTreeClassifier feature_importances_ : array of shape = [n_features] The feature im...

2019-04-26 19:10:51

阅读数 36

评论数 0

Trie

Trie树,又称单词查找树或键树,是一种树形结构,是一种哈希树的变种。 典型应用是用于统计和排序大量的字符串(但不仅限于字符串), 所以经常被搜索引擎系统用于文本词频统计。 字典树(Trie)可以保存一些字符串->值的对应关系。基本上,它跟 Java 的 HashMap 功能相同,都...

2019-04-23 14:26:21

阅读数 14

评论数 0

Python实现从url中提取域名的几种方法

这篇文章主要介绍了Python实现从url中提取域名的几种方法,本文给出了3种方法实现在URL中提取域名的需求,需要的朋友可以参考下。 从url中找到域名,首先想到的是用正则,然后寻找相应的类库。用正则解析有很多不完备的地方,url中有域名,域名后缀一直在不断增加等。通过google查到几种方法,...

2019-04-22 14:14:57

阅读数 45

评论数 0

ModuleNotFoundError: No module named 'sklearn.cross_validation'

在使用anaconda写Python代码,运行 from sklearn.cross_validation import train_test_split 时报错: ModuleNotFoundError: No module named ‘sklearn.cross_validation’ 上网...

2019-03-21 17:40:48

阅读数 28

评论数 0

AWK实现两文本关联join

背景: join是数据处理领域中非常经典的技巧,绝大多数数据库都支持该用法,现在我们研究下AWK命令是如何实现 join的~ 我们先看看awk中的两个自身变量,NR 和 FNR。 awk可以指定同时读取多个文件,按照指定的先后顺序,逐个读取。 NR 指的是awk所读取到所有记录(包括多个文件)...

2019-03-12 20:31:46

阅读数 39

评论数 0

机器学习sklearn19.0——Logistic回归算法

一、Logistic回归的认知与应用场景 Logistic回归为概率型非线性回归模型,是研究二分类观察结果与一些影响因素之间关系的 一种多变量分析方法。通常的问题是,研究某些因素条件下某个结果是否发生,比如医学中根据病人的一些症状 来判断它是否患有某种病。 二、LR分类器 L...

2019-03-12 20:18:59

阅读数 263

评论数 0

类别不平衡问题之SMOTE算法(Python imblearn极简实现)

类别不平衡问题 类别不平衡问题,顾名思义,即数据集中存在某一类样本,其数量远多于或远少于其他类样本,从而导致一些机器学习模型失效的问题。例如逻辑回归即不适合处理类别不平衡问题,例如逻辑回归在欺诈检测问题中,因为绝大多数样本都为正常样本,欺诈样本很少,逻辑回归算法会倾向于把大多数样本判定为正常样本,...

2019-03-11 17:20:29

阅读数 58

评论数 0

shell 除法显示小数

shell计算中使用除法,基本默认上都是整除。 比如: num1=2 num2=3 num3=`expr $num1 / $num2` 这个时候num3=0 ,是因为是因为expr不支持浮点除法 解决的方法: num3=`echo "scale=2; $num1/$num2&a...

2019-02-26 11:19:20

阅读数 274

评论数 0

linux shell输出开启转义

开启转义 echo -e string #!/bin/sh echo -e "OK! \n" # -e 开启转义 echo "It it a test" 结果为: OK! It it a test --- ech...

2019-02-26 11:16:43

阅读数 51

评论数 0

Linux下为文件增加列的shell脚本

场景:linux有份文件,需要增加一列序号来标记,通过shell脚本来实现。 步骤: 1)创建一份test.txt文件,内含一列,如下: bash-4.1$ cat test.txt a b c d e 2)创建脚本row_id.sh,如下: bash-4.1$ cat row_id.sh #!/...

2019-02-25 20:06:13

阅读数 23

评论数 0

Shell

shell的变量功能 1.变量的配置守则 若该变量需要在其它子程序运行,则需要用export使变量成为环境变量环境变量 export name=Tom 在其它子程序中会使用到该变量的值 取消变量的方法为unset 变量的配置当中,单引号与双引号的用途有何不同? 双引号中仍然可以保留变量的内容,单...

2019-02-24 23:57:46

阅读数 35

评论数 0

shell脚本 日期转时间戳

yesterday2stamp.sh #!/bin/bash yesterday =`date -d yesterday +%F` p1=`date -d $yesterday +%s` echo $p1 today=`date +%F` p2=`date -d $today +%s` echo...

2019-02-22 18:50:45

阅读数 39

评论数 0

shell脚本根据某一列去重

sort -t $'\t' -k 3 -u filename sort 排序命令 -t 指定分隔符为‘\t’ -k 指定第三列 -u 去重 sort的其他一些选项: -r 降序排列 -o 把排序结果输出到源文件 sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如 so...

2019-02-22 18:48:00

阅读数 97

评论数 0

vim

vim的三种模式 vim分为三种模式: 一般模式,编辑模式,指令列模式 一般模式: vi或vim打开一个文件就是一般模式,可进行删除、复制、粘贴 编辑模式: 在按下[i, I, o, O, a, A, r, R]等任何一个字母之后,会进入编辑模式 指令列命令模式: 在一般模式当中,输入[

2019-02-21 21:33:25

阅读数 32

评论数 0

shell中使用sort和uniq实现两文件的并集,交集和差集

给定两个文件 a.txt 和 b.txt ,每行是一个记录(假设没有重复),要求输出两集合的交集、并集、差集,输出的结果只包括唯一项。交集定义为同时出现在两个文件中的记录项,并集定义为出现在任何一个文件中的记录项,差集(A-B)定义为出现在A中而且不出现在B中的记录,对称差集定义为只出现在一个文件...

2019-02-19 11:35:17

阅读数 36

评论数 0

Python:eval的妙用和滥用

eval()函数十分强大,官方demo解释为:将字符串str当成有效的表达式来求值并返回计算结果。 so,结合math当成一个计算器很好用。 其他用法,可以把list,tuple,dict和string相互转化。见下例子: a = “[[1,2], [3,4], [5,6], [7,8], [9,...

2019-01-21 15:52:51

阅读数 60

评论数 0

Python之日志处理(logging模块)

转载自:https://www.cnblogs.com/yyds/p/6901864.html 本节内容 日志相关概念logging模块简介使用logging提供的模块级别的函数记录日志logging模块日志流处理流程使用loggi...

2018-12-05 20:03:06

阅读数 42

评论数 0

Liunx的rm -rf怎么老报错mv:无效选项 -- r?

如图: mv:无效选项 – r。 其实原因很简单,就是敲一个alias -p命令,查看一下 如: 就会发现 alias rm=’/bin/trash’ 。 所以,这是由于rm有别名所导致的。因此,要取消它的别名就可以了。 取消别名的命令是: unalias rm 如: 这样就不会报那个错误了。...

2018-12-03 14:58:27

阅读数 381

评论数 0

ssh登录一段时间后断开的解决方案

Method 1: 修改/etc/ssh/sshd_config配置文件,设置ClientAliveCountMax值大一点,单位是分钟。然后重启ssh服务使生效:service sshd reload Method 2: 找到所在用户的.ssh目录,如root用户该目录在:/root...

2018-08-03 11:48:40

阅读数 831

评论数 0

Mac下Homebrew安装的软件放在什么地方

一般情况是这么操作的: 1、通过brew install安装应用最先是放在/usr/local/Cellar/目录下。 2、有些应用会自动创建软链接放在/usr/bin或者/usr/sbin,同时也会将整个文件夹放在/usr/local 3、可以使用brew list 软件名确定安装位置。 ...

2018-08-01 17:00:06

阅读数 474

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭