2018年10月_lawenliu

12月 11月 10月 03月 02月

原创 python中画图-matplotlib

通常我们得到数据之后，很想以图的直观形式展现给老板或者其他同事同学（diagrams speak louder than words）。我们知道MATLAB的画图工具很强大，各种图形都能画，python其实也带的有类似的画图库-matplotlib，用pip安装一下就可以用啦。我们看看几个例子怎么用吧。Reference：https://www.cnblogs.com/zhizhan/p/56...

2018-10-31 18:42:08 504 1

原创 python 中的class与变量使用

python中的变量定义是很灵活的，很容易搞混淆，特别是对于class的变量的定义，如何定义使用类里的变量是我们维护代码和保证代码稳定性的关键。#!/usr/bin/python#encoding:utf-8global_variable_1 = 'global_variable'class MyClass(): class_var_1 = 'class_val_1' # ...

2018-10-30 18:56:28 8882 1

转载（转发）三大主流软件负载均衡器对比(LVS VS Nginx VS Haproxy)

原文地址：https://www.cnblogs.com/ahang/p/5799065.html相对于Ngnix，我们公司最终选择了HA。LVS：1、抗负载能力强。抗负载能力强、性能高，能达到F5硬件的60%；对内存和cpu资源消耗比较低2、工作在网络4层，通过vrrp协议转发（仅作分发之用），具体的流量由linux内核处理，因此没有流量的产生。2、稳定性、可靠性好，自身有完美的热...

2018-10-30 12:38:34 179

原创 numpy.fromstring使用

可以直接参考numpy 的fromstring的使用，在传输图片进行解析图片的时候还是比较有用的。可以通过fromstring函数很方便的从字符串中进行解码出数据。这个对于数据传输和信息解析非常的方便。>>> import numpy as np>>> np.fromstring('1 2 3', dtype=int, sep=' ')array(...

2018-10-30 11:19:18 21129 3

原创 SimpleRNN 预测下个字母

看下SimpleRNN实现的预测下一字母。#!/usr/bin/pythonfrom __future__ import print_functionfrom keras.layers import Dense, Activationfrom keras.layers.recurrent import SimpleRNNfrom keras.models import Sequen...

2018-10-27 19:06:24 1219 1

原创 python中print中加个end参数的作用

当我们在python里打印一般用print来做，当我们想进行多次输出并且连续输出到同一行时，我们可以采用print后面的这个end参数填入空串来完成。比如在测试nlp的文本预测时，想连接输出预测的一句话，但是每次预测一个单词，就需要用到这个功能了。但是这个在python 3里才有用。代码片断 68 for iteration in range(self.num_iter)...

2018-10-27 18:14:56 6761

原创 Linux 执行多行命令的方法与区别（解决supervisor启动使用GPU的python服务）

在很多情况下，我们需要一次性执行多条命令。比如我在用supervisor启动python服务的时候就有类似的需求。对于我的例子背景是通过supervisor监控python在python 35环境下的GPU使用的服务，其中分三个块：python35环境的需求、GPU服务的使用、服务自动重启。当python挂掉的时候，supervisor要能够监控到并实现自动重启，在用GPU的时候就会有个坑，e...

2018-10-25 21:03:53 1614 1

翻译（Four Ways To Make Your Leader Love You）让领导喜欢你的四种方式

看到一篇文章很不错，给大家分享一下。（中英文对照，翻译不好的地方请指正）原文地址：https://www.forbes.com/sites/forbescoachescouncil/2018/07/17/four-ways-to-make-your-leader-love-you/#5286b7d640a7Every leader needs trusted employees. Many...

2018-10-23 12:22:10 472

原创解决CUDA error (3): initialization error (multiprocessing)

在做一个图像处理相关的项目，NVIDIA基于CUDA的GPU，我们需要把图像处理做成服务，并提升CPU上并发速度。整个服务既有CPU处理，又有GPU处理，我们就需要把CPU上的处理做成多线并发，把GPU上的数据做成batch并发起来。由于code是用pytorch 的python版本实现的，而不是c++，这就给我们造成了困扰，对于python我们知道多进程才能做到利用CPU多核的目的，而多线并不能...

2018-10-22 15:11:24 25737 17

原创 C++的类与对象

C++由来已久，但是至今为止依然很受大家青睐，在算法实现时尤为被大家认可。尽管很多人认为python易学易用，使用广泛，基本在算法领域是独霸一方。但真正要搞大事情，还得靠C++，而且我们知道其实python底层算法实现基本都是基于C++的，充分体现了效率能力。我们在做算法服务器时通常选择的搭配是Golang + C++。当然也尝试过使用Golang+python或者python独立完成，但效果并没...

2018-10-20 13:48:20 108

原创 c++ corner case

1. 定义一个空类型，不包含任何成员变量和函数，用sizeof大小为什么？#include <iostream>using namespace std;class A {};int main() { cout << sizeof(A) << endl; return 0;}答：这种取决于编译器的定义，看空类型占用多少个字节...

2018-10-20 11:49:13 666

原创 Vim显示和隐藏行号的方法

在linux下编辑文件的时候，有的时候想把行号显示出来方便查找，有的时候需要隐藏掉，方便复制粘贴。方法如下：1. 显示行号打开vim，然后按“：”，输入“set nu”或者“set number”2. 隐藏行号打开vim，然后按“：”，输入“set nonu”或者“set nonumber”...

2018-10-20 11:27:59 9867 1

原创 python下的多进程

我们知道python下的多进程做异步还是可以的，但是做并发利用多核处理器是行不通的，而且速度还会更慢。那么我们来试试多进程的效果吧。简单看下多进程的几种实现方法。1. 普通进程启动与测试#!/usr/bin/env python##################################### Process is used execute a standalone task...

2018-10-18 20:55:41 175 2

原创常见求导公式

1. (其中为常数)，则2. ，则3. ，则，特别的，则4. ，则 (，且)。特别的，则5. ，则6. ，则7. ，则8. ，则9. ，则10. ，则11. ，则12. ，则13. ，则14. ，则注意事项：1. 不是所有的函数都是可导；2. 可导的函数一定连续，但是连续的函数不一定可以导，例如y=|x|，在x=0处不可导，...

2018-10-17 13:59:53 6534

原创 centos升级之gcc 升级到 gcc-7.3.0

在做后端计算服务时，需要用到AVX512的计算指令集，当然首先需要服务器的CPU能够支持这种指令集，其次就是我们的gcc库需要7.3.0以上的版本来支持。那我们需要做的是安装升级gcc-7.3.0。1. 下载gcc-7.3.0可以去网上下载，下载地址如下：http://mirror.linux-ia64.org/gnu/gcc/releases/gcc-7.3.0/也可以用wget直接...

2018-10-16 21:44:23 5548 2

原创 Python 多线程

我们知道很多其他语言的多线程一般来做并发和异步处理。异步可以避免主线程被block，并发可以充分利用CPU多核达到提速的目的。但是python的多线程并发是不是我们想象的那样呢？python的多线程其实是伪多线程，由于历史遗留问题，python的多线程不是并行的在多核上执行，而是交替的在单核上支持，即使是多处理器的情况下，也没有能够提升速度，这对于多线程的并发特性简直是个坑。为什么会是这样呢？那是...

2018-10-13 18:10:47 378 1

原创 Golang及python实现Unix Socket

我们都知道socket本来是为网络通讯设计，可以通过socket方便的实现不同机器之间的通信。当然通过socket也可以实现同一台主机之间的进程通信。但是通过socket网络协议实现进程通信效率太低，后来就出现了IPC通信协议，UNIX Domain Socket （UDS）就是其中之一，而且用于IPC更有效率，比如：数据不再需要经过网络协议栈，也不需要进行打包拆包、计算校验和、维护序列号和及实现...

2018-10-11 20:45:53 4261

原创 Storm--搭建集群

1. 机器规划通过VirtualBox或者Vmware可以比较轻松的撘一套storm的测试换，我们先搭建一台master机器，之后通过VirtualBox的机器复制功能很容易产生slave机器。下面使用操作为Centos 7。Zookeeper, Nimbus 及Supervisor列的Yes表示需要在对应的机器上启动，No表示不启动。 Host Name ...

2018-10-10 21:08:01 214

原创 Linux下动态库与静态库操作

Linux命令之ar - 创建静态库.a文件用途说明创建静态库.a文件。用C/C++开发程序时经常用到，但我很少单独在命令行中使用ar命令，一般写在makefile中，有时也会在shell脚本中用到。关于Linux下的库文件、静态库、动态库以及怎样创建和使用等相关知识，参见本文后面的相关资料【3】《关于Linux静态库和动态库的分析》。常用参数格式：ar rcs libxxx...

2018-10-10 20:57:48 148

原创如何转移VirtualBox下的虚拟机到其他磁盘

前言我们知道VirtualBox给我们提供了很多方便，可以在上面建立不同操作系统的虚拟机，并方便我们搭建集群等等作为测试。但是VirtualBox默认的虚拟机创建在C盘，当我们建立大量虚拟机后，磁盘空间就变的不足。如何转移VirtualBox下的虚拟机到其他磁盘。迁移方法（1）在其他磁盘创建一个目录用来存放要迁移的虚拟机。（2）打开VirtualBox的安装目录，一般在“C:\...

2018-10-10 20:49:24 7028 2

原创 Linux下配置SCP传输不用输入密码

当我们需要自动上传文件到服务器或者要进行服务上的文件备份的时候，这种不需要输入密码的拷贝是非常有用的（1）生成rsa，一路回车就行。 ssh-keygen -t rsa （2）查看生成的rsa相关文件。你可以根据不同的用户查看当前用户根目录下的.ssh文件夹 ll ~/.ssh/ （3）拷贝id_rsa.pu...

2018-10-10 20:41:25 2013

原创在Linux下交叉编译生成iOS工具链指导手册

1.前言我们需要在Linux系统上实现交叉编译并动态下发Android和iOS的静态库或者动态库，而其中最为关键的就是Android NDK和iOS工具链的生成。由于Android 的实现起来相对容易，这里重点讲述iOS端生成工具链的实现过程。下面的操作需要在Macbook上到处SDK。2.所需资源 2.1 VirtualBox (https://www.virtualbo...

2018-10-10 20:39:02 2139

原创在Linux下交叉编译Android工具链

搭建交叉编译环境下载Android NDKhttp://developer.android.com/sdk/ndk/index.html我这边选择下载Linux 64-bit(x86)，android-ndk-r9d-linux-x86_64.tar.bz2。解压android-ndk-r9d-linux-x86_64.tar.bz2到任意路径3.生成toolchain的文档可以参...

2018-10-10 20:34:02 5067