bitcarmanlee的博客

专注算法与数据,正在计划写机器学习方面的数学书籍,有出版社的朋友请联系。微信1833133594...

python 正则匹配电话与ip

有一段时间没写正则表达式,略有点生疏,赶紧写两个练练手#!/usr/bin/env python #coding:utf-8import re#匹配电话号码 def match_phone_num(): phone_num = re.compile("0\d{2}-\d{8}|0...

2016-03-31 17:29:15

阅读数 1338

评论数 0

python解析json串与正则匹配对比

现在有如下格式的json串: “detail_time”:”2016-03-30 16:00:00”,”device_id”:”123456”,”os”:”Html5Wap”,”session_flow_id”:”1d1819f3-8e19-4597-b50d-ba379adcd8e5”,”us...

2016-03-31 14:55:46

阅读数 5610

评论数 0

协方差与皮尔逊系数详解

标准差和方差一般是用来描述一维数据的,但现实生活中我们常常会遇到含有多维数据的数据集,最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这 样的数据集,我们当然可以按照每一维独立的计算其方差,但是通常我们还想了解更多,比如,一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。 协方差...

2016-03-30 21:31:03

阅读数 3639

评论数 1

centos安装pip

要安装或升级pip,需要下载 get-pip.py然后运行以下命令 (需要管理员权限):$ sudo python get-pip.py[sudo] password for lei.wang: lei.wang 不在 sudoers 文件中。此事将被报告。将账号加入sudoers文件中,重复上诉...

2016-03-30 18:30:11

阅读数 714

评论数 0

ODS与EDW的区别

根据自己的理解与实际项目经验,说说ODS与EDW的异同。如果有不对的地方,欢迎大家批评指正。维基百科对于ODS的定义为”An operational data store (or “ODS”) is a database designed to integrate data from multip...

2016-03-30 13:00:09

阅读数 13884

评论数 1

OLTP与OLAP的区别

OLTP和OLAP的区别联机事务处理OLTP(on-line transaction processing) 主要是执行基本日常的事务处理,比如数据库记录的增删查改。比如在银行的一笔交易记录,就是一个典型的事务。 OLTP的特点一般有: 1.实时性要求高。我记得之前上大学的时候,银行异地汇款,...

2016-03-30 10:00:05

阅读数 36260

评论数 0

grep 常用参数

grep的基本使用方式: grep ‘xxx’ file grep ‘xxx1 xxx2’ file cat file | grep ‘xxx’ pip | grep ‘xxx’

2016-03-29 17:43:24

阅读数 948

评论数 0

sql语句查询执行顺序

sql查询语句的处理步骤如下:--查询组合字段 (5)select (5-2) distinct(5-3) top(<top_specification>)(5-1)<select_list> --连表 (1)from (1-J)<left_table><...

2016-03-29 12:12:19

阅读数 26383

评论数 3

二分查找 python实现

二分查找的python查找,经典的面试题,啥也不多,直接上代码 def binSearch(list,num): low = 0 high = len(list) - 1 middle = (high + low) / 2 while(low <= hig...

2016-03-28 22:02:51

阅读数 2655

评论数 2

PipeMapRed.waitOutputThreads(): subprocess failed with code N

经常遇到的exception是:PipeMapRed.waitOutputThreads(): subprocess failed with code N "OS error code 1: Operation not permitted" "OS err...

2016-03-28 21:57:28

阅读数 1974

评论数 0

hive like与rlike的区别

like与rlike的区别: like不是正则,而是通配符。这个通配符可以看一下SQL的标准,例如%代表任意多个字符。 rlike是正则,正则的写法与java一样。'\'需要使用'\\',例如'\w'需要使用'\\w' hive> select "aaaaa" like...

2016-03-28 14:55:31

阅读数 54522

评论数 0

hbase shell 入门

下面我们将以“一个学生成绩表”的例子来详细介绍常用的 HBase 命令及其使用方法。 这里 grad 对于表来说是一个列,course 对于表来说是一个列族,这个列族由三个列组成 china、math 和 english,当然我们可以根据我们的需要在 course 中建立更多的列族,如com...

2016-03-25 22:35:32

阅读数 632

评论数 0

数据库事务ACID

ACID,是指数据库管理系统(DBMS)在写入/更新资料的过程中,为保证事务(transaction)是正确可靠的,所必须具备的四个特性:原子性(atomicity,或称不可分割性)、一致性(consistency)、隔离性(isolation,又称独立性)、持久性(durability)。 ...

2016-03-25 16:54:24

阅读数 445

评论数 0

MongoDB最佳实践

将MongoDB加入到我们的服务支持列表中,是整个团队年初工作计划中的首要任务。但我们感觉如果先添加一项对NoSQL存储的支持,而不是先升级已支持的关系型数据库,可能对用户不太好,毕竟目前的用户都使用关系型数据库。 所以我们决定将引入MongoDB这项工作放到升级MySQL和PostgreSQL...

2016-03-25 14:38:46

阅读数 413

评论数 0

shell 逐行读取文件

很常见的需求,话不多说,直接上代码 #!/bin/bash #cat出来,for循环 function f1() { IFS=" " for line in `cat test.txt` do echo $line done ...

2016-03-25 10:57:34

阅读数 973

评论数 0

shell判断字符串为空

shell中判断字符串为空的几种方式,一一列举 #!/bin/bash test_str="" if [ "$test_str" = "" ];then echo "NULL!" fi if [...

2016-03-25 10:45:12

阅读数 750

评论数 0

RSA 数字签名 免密码登录

其实公钥和私钥都可以用来加密或解密---只要能保证用A加密,就用B解密就行。至于A是公钥还是私钥,其实可以根据不同的用途而定。 例如说,如果你想把某个消息秘密的发给某人,那你就可以用他的公钥加密。因为只有他知道他的私钥,所以这消息也就只有他本人能解开,于是你就达到了你的目的。 但是如果...

2016-03-24 22:46:57

阅读数 789

评论数 0

ssh 免密码登录

为了更好的理解SSH免密码登录原理,我们先来说说SSH的安全验证,SSH采用的是”非对称密钥系统”,即耳熟能详的公钥私钥加密系统,其安全验证又分为两种级别。 1. 基于口令的安全验证 这种方式使用用户名密码进行联机登录,一般情况下我们使用的都是这种方式。整个过程大致如下: ...

2016-03-24 22:44:04

阅读数 618

评论数 0

sed 替换

sed 's/^/添加的头部&/g' //在所有行首添加 sed 's/$/&添加的尾部/g' //在所有行末添加 sed '2s/原字符串/替换字符串/g' //替换第2行 sed '$s/原字符串/替换字符串/g' //替换最后一行 sed '2,5s/原字符串/替换字...

2016-03-24 22:36:26

阅读数 553

评论数 0

awk 字符串替换 gsub

gsub(r,s)    在整个$0中用s替代r gsub(r,s,t)    在整个t中用s替代r awk -F "," '{str=gsub(/\t*| *$/,"",$3);ret=$1","$2","...

2016-03-24 22:29:39

阅读数 9206

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭