2019年04月_九点前吃饭

原创什么是决策树？

今天是周六，窗外一片绿色，身处北京能闲暇下来，着实不易～下面我来解释下什么是决策树，在大学期间我们都接触过二叉树，搜索树，以及数据库中索引的基本原理...和今天要说的决策树，从本质上都是一种基于树这种数据结构的具体实现。决策树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布...

2019-04-27 12:15:29 3892 1

原创决策树--万事开头难

已经接触了很多CV相关的算法和相关概念，但总感觉自己是个门外汉，站在围墙外边走了好远好远，每个门都紧锁不知该如何突破～也许此刻的你和我一样迷茫，那就让我们一起努力吧！最近接手了lightgbm的项目，但是acc到0.76似乎就没办法提升了，当然数据量少也是一个方面，所以还是从底层的算法原理开始突破这个项目～接下来一段时间我会和大家一起探讨从简单的决策树...

2019-04-21 20:31:53 2532 1

原创 docker学习笔记-常见操作汇总

拉取镜像sudo docker pull registry/images后台启动镜像为容器docker run -idt registry/images进入容器docker exec -it e4ef8a683eb4 bash查看进程docker ps内部执行程序，mkdir /tmp && sudo apt-get update &&...

2019-04-14 18:53:46 4153 2

原创 ubuntu 14.04下docker和nvidia-docker的安装（离线和在线）

说起docker，出过差或者有项目迁移平台部署的朋友应该都不陌生，今天我来说下在ubuntu14.04下安装docker的方法，至于容器（container）和镜像（images）的概念，大家可以在google上搜索一下。在线安装docker# 如果之前有docker，先卸载 sudo apt-get remove docker docker-engine docker...

2019-04-14 18:11:36 4939 6

原创 linux 遍历文件夹并去除文件名中的空格&快速查出占用根目录空间的文件夹&快速查找文件夹

文件树就是一个大文件夹线面又有几千个文件夹，然后每个文件夹下面又有一千多张图片，然后这些图片的文件名里面又有空格。空格在shell里面是很棘手的东西。所以我们遍历文件夹并去除每张图片文件名里面的空格。主要是需要注意一开始我们就切换到根目录，所以后面简短的切换中需要注意切换后要切回根目录，不然这种简短的切换就会出现问题。#!/bin/bashfor dir in `ls -1`...

2019-04-13 16:51:24 4585 1

原创 NFS：Network File System

使用NFS需要启用RPC(remoteprocedure call），RPC可以指定每个NFS功能所对应的端口号，重启RPC后，RPC所管理的所有NFS功能服务都需重新向RPC注册。设置NFS需要安装nfs-utils和portmap程序，使用rpm –q可以查看是否安装。nfs-utils：提供rpc.nfsd和rpc.mountd两个daemon与其他document说明文件。rpc....

2019-04-13 16:28:25 4127 1

原创 python下执行shell，方法对比

1. 关于 os.systemos.system("some_command with args")将命令以及參数传递给你的系统shell。这非常好，由于你能够用这样的方法同一时候执行多个命令而且能够设置管道以及输入输出重定向。比方：os.system("some_command < input_file | another_command > output_file")然而...

2019-04-13 16:10:00 5290 1

原创如何使用sed进行字符串替换？

sed -i's/badoo/instagram/' myfile将 myfile 文件中每行第一次出现的badoo用字符串instagram替换，然后将该文件内容输出到标准输出sed -i's/badoo/instagram/g' myfileg 使得 sed 对文件中所有符合的字符串都被替换sed -i 's/badoo/instagram/g' myfile选项 i ...

2019-04-13 14:45:12 5325 2

原创 python中pip和快速更新到最新版本

一般刚做好的系统pip版本应该是5.6左右，而当前最新版本应该是19.1 ，如何讲pip更新到最新版本呢？python -m pip install --upgrade pip如果是conda欢迎可以用一下命令conda install mingw libpython如果更新使用pip -V发现版本没有变化，不要担心我们尝试vi pip看一下#!/usr/bin/...

2019-04-07 18:02:58 6770 2

原创 Command "/usr/bin/python -u -c "import setuptools, tokenize;file='/tmp/pip-build-f8m_zq/statsmod

pip安装工具时报错提醒：Command "/usr/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-f8m_zq/statsmod原因是安装工具包时需要抓取网页因而要处理 https，而处理 https 又依赖加解密算法（即 cryptography 包），而 cryptography 又依赖傅立叶...

2019-04-07 17:47:29 13816 2

原创 python datetime 时间加一秒，一分钟

通过笔者的上一篇文章，大家应该了解了python中datetime，time，string的相互转换，这里讲一个比较常用的操作，那就是时间偏移函数的设计，也就是time offset的函数的方法获取当前时间import datetimeprint datetime.datetime.now()# 2018-05-08 16:53:30.101000加一天import dat...

2019-04-07 15:41:00 21580 1

原创 python时间函数的使用方法 time&datetime, string之间的转换

#!/usr/bin/env python# -*- coding:utf-8 -*-# @Datetime : 2017/11/23 下午12:37# @Author : Alfred Xue# @E-Mail : [email protected]# @GitHub : https://github.com/Alfred-Xue# @Blog : ...

2019-04-07 15:18:35 5356 1

原创 psycopg2使用大全

之前写过python连接postgresql的方法，今天在网上详细总结了一下，psycopg2的使用方法建立连接使用*.ini文件(python的configparser包可以解析这种类型的配置文件)保存数据库连接的配置信息。使用psycopg2.connect函数获得connection对象。使用connection对象创建cursor对象。使用cursor对象执行sql语句提...

2019-04-07 15:06:32 14803 4

原创 linux&python 免密操作

独立搭建集群或者交互式工程项目的朋友应该都比较了解免密操作，免密shell，免密scp等等，在shell下一定要记住两条命令ssh-keygen 这个命令用于生成公钥所需的私钥文件，默认生成的两个文件是：id_rsa id_rsa.pub第一个是私钥文件，第二个是公钥文件。ssh-copy-id这个命令可以将公钥发送到远程机器中，输入对应的账号，密码，就可以进行免...

2019-04-07 14:47:12 5457 1

原创 linux&python 批量删除所有进程的方法

熟悉shell的朋友都知道一个强大的命令 kill ，看你不爽kill你，你占着茅坑（资源）不拉屎（干活），一样要kill你，你如果负隅顽抗，那我就kill -9，如果你有同谋，那我就批量干掉你，以mysql为例ps -ef|grep mysql*|awk '{print $2}'|xargs -i sudo kill -9 {} 剧透一下，这个也是我经常面试别人的面试...

2019-04-07 14:24:35 6069 1

原创 python中shutil 实现目标文件的 copy delete move

在python操作中，大家对os,shutil,sys,等通用库一定不陌生，今天我来简单说下用shutil实现文件的复制，删除，移动等操作复制在shell中copy文件(夹)通常用cp (-r) source target在python中也可以通过os.system(cmd)的方式执行上述命令，或者os自带的模块函数但python中其实还有一种很常用的方法，sh...

2019-04-07 13:56:14 6688 1

原创 python 随机函数 random.choice和random.sample

随机函数有很广泛的作用，比如爬虫当中随机事件，用于反爬虫等time.sleep(random.choice(range(1,5))) 除此以外还有一个用法就是，random.sample，用于饭回回随机制定数量的结果，如下import randoma = [1, 2, 3, 4, 5, 6, 7, 8, 9]b = random.sample(a, 5)...

2019-04-07 13:31:53 13507 1

原创 python内置函数 enumerate 的用法

第一次接触enumerate是在vitamin(行人在识别全自动生产)系统中，enumerate是python内置的函数，用于遍历数据对象（列表，元组或字符串等），同时给出下标和数据本身，临时案例如下for index, data in enumerate(range(5,10)): print index,data语法以下是 enumerate() 方法的语法:...

2019-04-07 13:20:40 5504 1

原创 python操作postgresql 的连接配置

今天是入职一年的纪念日，纪念一下！去年的这个时候认识了一个好朋友-小贝，优秀又不服输的妹子，所以今年我也要努力变成一个优秀的人！哈哈，不说没用的！ python大家一定不陌生，但是pg库大家可能不是很熟悉，可以去google查一下常规用法，如果熟悉标准sql的人使用起来或许不是太难，如果是新手，大家可以参考之前我写过这篇文章 #-*- coding:utf-8...

2019-04-02 18:08:35 7308 6

原创 opencv 3.1.0的编译和多版本共存

由于在安装ROS时自带的版本是opencv2.4.8的，这几天调试程序需要使用opencv3.1.0的版本，这就需要opencv多版本的共存，在网上搜集了很多资料，结合自己安装的过程记录一下：使用命令查看当前的opencv版本：pkg-config...

2019-04-02 15:02:28 5468 1

转载 how to upgrade the python version from 2.7.6(default) to 2.7.9

Need to run your web app with Python 2.7.9, but server environment uses Ubuntu 14.04 LTS? Don’t replace Python, leverage VirtualEnv instead!April 5, 2015I had this post hanging in my drafts on ho...

2019-04-02 14:47:09 5019 1

原创 python中文问题和格式编码问题

相信大家，尤其是和我初学python的时候一样经常碰到UnicodeEncodeError: 'ascii' codec can't encodecharacters in position 32-34: ordinal not inrange(128)问题，使用的是ulipad编译器。这是由于python中程序默认为unicode编码，需要一个转换。还有一个经常碰到的场景是中文编码...

2019-04-02 14:42:58 4879 1

原创 python程序运行时间计算

python程序中计算单个脚本或者程序的执行时间对于工程设计和瓶颈定位帮助很大，下面笔者简单说下，自己所接触过的python计时器。time()，以浮点形式返回自Linux新世纪以来经过的秒数。在linux中，00:00:00 UTC, January 1, 1970是新**49**的开始。?12345678import time start =...

2019-04-02 14:38:17 5736

原创 airflow中调用执行外部python脚本当作task

习惯使用airflow自动化流程的朋友对于task应该比较了解，如果调用程序中的脚本直接callback指定函数就可以了，如果想要调用外部的程序如何进行调用呢？？其实很简单，引文shell可以通过os.system 来调用python脚本，所以我们只要定义一个python方法，来封装system就可以啦。以下程序和我的方法一致，用作参考！...

2019-04-01 19:07:48 10062 1

原创 windows系统下如何使用python定时任务

经常出差部署项目，或者部署数据工程的朋友应该都知道定时任务的，如果在linux系统下，可以用crontab，或者workflow中的定时任务，或者写触发机制都是可以的，但是在windows下如何部署自动化程序呢？后来结合网友的建议和实验总结得到了以下方法，希望对你有所帮助。为了照顾更多的朋友，下面我将每一步都截图并加以简单说明，如果觉得太啰嗦可以直接翻到后面看最关键的一步如何设置。首先，我们...

2019-04-01 18:49:37 5478

原创 python大列表中每个元素的出现次数（复杂度低）

最近复习自己已经掌握的技术，其中如何用获取python list中每个元素的出现次数，这种需求其实不难，但是实际应用场景中，可能回碰到几十亿的训练集，速度的快和慢差距就会很大然后我一看，这个好眼熟，我以前做过呀，先新建一个字典，key对应数据库那一列对应的元素，value存储元素个数，然后对数据库里每个元素...

2019-04-01 18:36:17 5151

起点的专刊