guotianqing的博客

识别操作系统平台以下代码可以识别 Windows、Linux、Macos三种类型的操作系统平台：IF (CMAKE_SYSTEM_NAME MATCHES "Linux") MESSAGE(STATUS "current platform: Linux ") ELSEIF (CMAKE_SYSTEM_NAME MATCHES "Windows") MESSAGE(STATUS "current platform: Windows") ELSEIF (CMAKE_SYSTEM_N

背景以下情况可能需要在CMake中执行shell脚本：cmake未提供的功能而实际构建中又需要时，如获取Linux发行版本项目构建时需要执行脚本才能完成，如boost构建过程有的需要shell脚本的返回值，而有的不需要，这个关系不大。本文主要关注的是在cmake中执行shell脚本的方法。主要涉及三个命令：execute_process、add_custom_target和add_custom_command。execute_process通过execute_process方法可以执行

作用set与unordered_set一样，都是关联式容器，和 map 容器不同，使用 set 容器存储的各个键值对，要求键 key 和值 value 必须相等。当使用 set 容器存储键值对时，只需要为其提供各键值对中的 value 值（也就是 key 的值）即可。使用 set 容器存储的各个元素的值必须各不相同。从语法上讲 set 容器并没有强制对存储元素的类型做 const 修饰，即 set 容器中存储的元素的值是可以修改的。但是，C++ 标准为了防止用户修改容器中元素的值，对所有可能会实现

查看磁盘类型当前磁盘中速度最快的应该是SSD了。查看命令：> yum install lsscsi> lsscsi # 列出 SCSI 设备（或主机）及其属性[0:2:0:0] disk DELL PERC H330 Adp 4.30 /dev/sda [14:0:0:0] cd/dvd HL-DT-ST DVD+-RW GU90N A3C3 /dev/sr0显然，我的电脑上没有SSD，只是普通的磁盘。如果有SSD，第5列会显示S

mysql安装我使用的系统是centos7，默认安装的版本是5.7.29。以下操作在主从节点都要执行。安装步骤如下：wget -i -c http://repo.mysql.com/mysql57-community-release-el7.rpmyum -y install mysql57-community-release-el7.rpm yum -y install mysql-community-server mysql-develmysql设置以下操作在主从节点都要执行。启

崩溃最近程序中出现了崩溃现象，经过查询，发现是崩溃在STL容器的查询中。崩溃的截图如下：关于unordered_map无序 map 容器，unordered_map 容器不会像 map 容器那样对存储的数据进行排序。unordered_map 容器底层采用的是哈希表存储结构，该结构本身不具有对数据的排序功能，所以此容器内部不会自行对存储的键值对进行排序。关联容器删除一个元素的时候，当前的迭代器会失效，其他的迭代器不会失效，增加一个元素的时候，迭代器不会失效。线程安全性的保证：多线程同

深A截止目前，深A共两个板块：主板和创业板。其中，主板包含了原来的主板和中小板。主板代码以00开头，标的数量共1500+支，包括：002（原中小板）001000003创业板以30开头，标的数量共1100+支，包括：300301各个代码开头的标的数量为：code板块数量000主板450+001主板20+002主板1000+003主板50+300创业板1000+301创业板60+沪A沪A也共有

需求对于一个DataFrame，常常需要筛选出某列为指定值的行。pandas中获取数据的有以下几种方法：布尔索引位置索引标签索引使用API假设df数据如下：import pandas as pdimport numpy as npdf = pd.DataFrame({'code': '000001.SZ 000002.SZ 000006.SZ 000009.SZ'.split(), 'open': '1.2 20 3.5 2.8'.split

需求有时候，需要把dic转换为DataFrame格式，便于查看和存储。假设有以下的dic：dic={'a':"1", 'b': "2", 'c':'3'}本文来探讨一下把它转换为df的几种方式。直接转换：key为列名直接转换时，需要把字典转化为list来操作：import pandas as pddic={'a':"1", 'b': "2", 'c':'3'}df= pd.DataFrame([dic])print(df)输出如下： a b c0 1 2 3

技术之路蓝图作为普通的技术开发工程师，大部分的职业之路可能就是下面的这样的：大学毕业之后作为初级研发工程师进入企业经过三年的学习和历练，逐渐开始作为项目负责人主导项目开发再经过两年的项目历练，已经能够独立负责项目核心模块开发，解决问题的能力得到大幅提升再经过两年的历练，如果负责的项目进展顺利，得到老板赏识，可能会被扶正，授予项目技术经理头衔，负责项目技术架构和攻关再经过两年，一直保持工作的热情和干劲，大概率能够成为项目经理，总体负责项目进度，向部门经理汇报好了，作为技术人，好好干，经过大

集群创建我们常用以下命令创建集群：redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1这样就创建了一个具有3个主节点和3个从节点的集群。其中，我们虽然指定了每个主节点都有一个从节点，但哪个是7000的从节点，却是随机分配的，直到集群创建完毕，才能确定是7003、7004还是700

删除Redis集群创建好后，一般会有以下文件生成：$ tree.├── appendonly.aof├── dump.rdb├── nodes-7000.conf├── redis.conf└── redis-server0 directories, 5 files其中，nodes-*.conf记录了Redis集群的信息。要想删除一个集群，首先关闭Redis服务，方法如下：redis-cli -h 127.0.0.1 -p 7000 shutdown关闭所有集群上节点后，进入

总括常见的替换包括：把一列中的某个旧值替换为一个新值：df['column_name'] = df['column_name'].replace(['old_value'],'new_value')把一列中的多个旧值替换为一个新值：df['column name'] = df['column name'].replace(['1st old value','2nd old value',...],'new value')把一列中的多个旧值替换为多个新值：df['column name'] = d

pandas修改dataframe行/列/字段值增加/修改一列有如下几种方法增加一列：增加具有相同值的一列import pandas as pd dict= {'English':[85,73,98], 'Math':[60,80,58], 'Science':[90,60,74], 'French': [95,87,92] } df=pd.DataFrame(dict,index=['2018','2019','2020']) print(df)

背景存在一个数据序列，且持续有新的数据到来，需要知道当前到来的数据在原数据序列的分位数。假设数据是double类型，序列存储在vector中。实现方案有多种方式可以实现该功能。暴力法最直观的方式是使用暴力法解决。对vector排序，然后遍历整个容器，找到给定值的index，得到index/vector.size即为分位数。代码如下：void GetQuantileForLoop(const vector<double>& ori, const double val)

现象Windows上程序与Linux上程序通信，具体为Windows程序读取机器上一个文件，把数据信息发送到Linxu进程。Linxu进程负责把结构体使用protobuf编码，写入redis，然后在有人请求的时候读出来展示。问题就出在了，编码和写入都成功了，查询的时候却报pb解析失败，一时摸不到头脑。定位及解决经过跟踪和分析，结构体中有一string，当windows进程读取到的该字段为英文时，到Linux进程中显示是正常的。当该字段为中文时，Linux进程日志中显示该字段为乱码：定位是

现象在ubuntu18.04上编译好的代码，拉到centos7上编译时，报错如下：是zmq.hpp报的错，已经使用-std=c++11选项。使用zmq库的是libzmq_4.3.2，zmq.hpp来自cppzmq，它是在libzmq上做了一层c++的封装。定位网上查了一下，有说是GCC版本太低导致的。从ubuntu18.04到centos7，gcc的版本也由7.5.0下降到了4.8.5。有可能就试一下，升级gcc，注意，不建议这样操作，因为一旦升级了gcc，原来在该服务器上编译的代码可能

引言在C11中，有两种方法可以把元素放入容器中：emplace_back和push_back。push_back是C11之前就有的，而emplace_back是C11中新加的。既然它们的作用都是一样的，那么为什么C11中又加入了一个emplace_back?既生瑜，何生亮？在实际的项目编码中，到底用哪个呢？优先选用emplace_back考虑下面这段非常常见的代码：std::vector<string> vs;vs.push_back("xyz");其中，vs容器持有

现象我的一个进程，是由crontab定时任务管理的，每天早上启动，晚上自动退出。已经在服务器上稳定运行了几个月。但是今天发现系统不太对，下游的服务不动作了，一查原因，原来的我的进程退出了。没有看到有core或者异常日志。为了先保证系统正常运行，手动启动它，结果刚运行1分钟左右，看到如下输出：[1] + 16957 killed ./a.out数次重启都被干掉了。问题如此严重，需要好好查一下子。定位OOM进程被kill掉，如果不是有进程主动为之，那就是被操作系统干掉了。

联结性对于std::thread创建的线程对象，要么join它，要么detach它，否则会导致程序崩溃。要想从理论上解释上述原因，就要了解一下thread的可联结性。std::thread对象都是处于两种状态之一：可联结的和不可联结的。可联结状态：std::thread对应底层以异步方式已运行或可运行的线程对应的底层线程处于阻塞或等待调度对应的底层线程已运行至结束不可联结状态：默认构造的std::thread：它没有可以执行的函数，因此没有对应的底层执行线程已移动的std::th

std::threadc++11在语言层面对并发编程提供了有力的支持，std::thread就是一例，它以线程的方式启动异步任务。关于thread创建线程对象并使用的用法，请参考 std::thread创建线程的几种方式使用thread对象，并在其上运行一个函数，这是基于线程的程序设计：int DoAsyncWork();std::thread t(DoAsyncWork);std::async还有一种更好的方式：基于任务的程序设计。即把任务函数传递给std::async，示例：aut

现象经过一个五一小长假，电脑也得到了很好的休息。开工第一天，发现Mysql挂掉了，原因是其他服务产生了大量日志，把磁盘搞满了。理论上，磁盘满了，删除点文件，把空间释放出来，再重启Mysql就好了。但这次，重启不了了，查看状态显示如下：定位解决重启了几次，查看状态时，都是报这个错误。下面看一下Mysql的日志吧：这里的信息比较详细，可以看出Mysql在几天前已经挂掉了，它把丢弃无法恢复的数据。好在它给出了解决方法：set innodb_force_recovery=1于是，修改配置

简介右值引用仅会绑定到右值，主要用于识别出可移对象。可以绑定到左值、右值、const、非const、volatile、非volatile等等一切对象的引用，称为万能引用。右值引用和万能引用都使用形如“T&&”的符号表示。下面做个小测试，试着区分一下下面的引用属于万能引用还是右值引用：// 1.void f(Foo&& p);// 2.Foo&& var1 = Foo();// 3.auto&& var2 = var1;

简介工作流程：python: 使用keras训练模型并保存为h5（keras以tensorflow为引擎）python: 转换h5为pb文件python: 加载模型，并验证模型无误c/c++: 加载并使用模型依赖安装：# 指定版本安装# 如果已经存在该包的更高版本，会自动卸载并重新安装# 显示卸载示例：pip uninstall opencv-pythonpip install tensorflow==1.13.1pip install h5py==2.10pip instal

含义move和forward都是C++11中引入的，它们是移动语义和完美转发实现的基石。move：不能移动任何东西，它唯一的功能是将一个左值强制转化为右值引用，继而可以通过右值引用使用该值，以用于移动语义从实现上讲，std::move基本等同于一个类型转换：static_cast<T&&>(lvalue)forward: 不转发任何东西，也是执行左值到右值的强制类型转换，只是仅在特定条件满足时才执行该转换典型使用场景：某个函数模板取用了万能引用类型为形参，随

背景在项目中，数据经过protobuf序列化后存入Redis集群。这是由c++来做的。但pb序列化的数据是二进制的，不便于人工查看。通过RedisDesktopManager查看时，是这样的：可以使用Python写个脚本反序列化一下，并打印出json格式的字符串，这样调试就方便多了。Python连接Redis集群Python连接Redis和连接Redis集群使用的包是不一样的。默认的redis只能连接Redis单实例，使用redis-py-cluster连接到集群：pip install

几个属性关于vector，有以下几个与Capacity相关的属性需要了解：size: 实际大小，即实际含有几个元素max_size：最大能容纳的元素个数，取决于操作系统和编译器，一般不会变化resize：改变实际大小到指定值，没有设置值的位置使用默认值填充capacity：容量，当前已经分配的内存能够容纳的元素个数，该值大于等于sizeempty：是否为空，同 size == 0?，若为空则返回true，否则falsereserve：预先设定容量到指定值，背后执行的可能是内存分配shri

pandaspython提供了csv库专门用于csv文件的读写，但它的功能不是很强大。而pandas则弥补了这些问题：有专门支持读取csv文件的pd.read_csv()函数读取为DataFrame格式支持通过列名查找特定列功能强大，方便扩展以下是待处理的csv文件：读取读取csv文件只需要一行代码：#--coding: utf-8--import pandas as pdfile_path = r'./demo.csv'df = pd.read_csv(file_p

简介常用的读写Excel的库：pandasopenpyxlxlrd/xlwt/xlutils使用它们都能够达到读写Excel的目的，但它们的侧重点又略有不同。具体如下：pandas：数据处理最常用的分析库之一，可以读取各种各样格式的数据文件，一般输出dataframe格式，功能强大openpyxl：主要针对xlsx格式的excel进行读取和编辑xlrd库：从excel中读取数据，支持xls、xlsxxlwt库：对excel进行修改操作，不支持对xlsx格式的修改xlutils库

简介使用Redis的小伙伴们都希望能够获取最大的性能收获，不管什么操作，越快越好。然而，在实际的使用中，却发现有些指令的执行并不像想象中的那样flash。怎么办？我觉得首先需要回答下面这个问题：到底是Redis本身慢了，还是业务逻辑性能出了问题？本文主要针对第一种情况，来进行一下Redis延迟的基准性能测试。如果基准测试没有问题，那么Redis自身大概是没有什么问题的，就要检查一下业务逻辑或者使用的指令是否是慢指令了。基本延迟下面的测试都是使用 redis-cli 客户端进行，基础命令如

简介随机数的使用越来越广泛。除了加密领域，在日常生活中也随处可见。如抽签、抽奖、测试等。这里描述一个与Redis使用有关的场景：Redis过期时间的设置。即建议对大批量的数据过期时间，设置一个值，并加上一个随机值，防止批量数据同时失效，造成缓存雪崩或影响性能。c++11 c++11引入了头文件，用于生成随机数。它包括两个部分：random engine: 生成随机的bit流distribution: 生成满足用户需求的随机数用法如下：使用seed初始化random engine

自然生态在城市里生活的人，大概都知道，周边有个公园的重要性。深居简出，以前是形容一些贤能之士，居住在密林清幽之处，很少与外界世俗打交道。现在，可以用来形容人们居住在钢筋混凝土浇铸的公寓之中，很少与外界自然打交道。所以，如果周边有个像样的小公园，基本上可以经常与自然界打交道了。所幸我们公司边上有个小公园，每天中午休息间隔可以去与自然界亲近一下。公园虽小，五脏倶全。这里有白杨、梧桐、桃李杏等，春天一到，百花盛开，香气扑鼻。这里还有各种各样的小动物，偶尔碰到几只小松鼠在松枝上嬉戏，好不愉快。这

ModuleNotFoundError: No module named ‘cv2’使用opencv测试时，发现没有安装，报错如下：安装一下吧：pip install opencv-pythonok了。但下面遇到了另一个错误。ImportError: libGL.so.1: cannot open shared object file: No such file or directory针对这个错误，网上有以下方法：yum安装：yum install libglvnd-glx-1.

背景使用Keras训练了一个模型，训练好后保存为h5文件。再次加载这个模型时，报错了：AttributeError: ‘str‘ object has no attribute ‘decode‘ “：我是使用 keras_to_tensorflow.py 这个脚本的时候报的错。解决网上说了一些报这个错误的解决方法。python2和python3的编码方式不一致导致h5py包的版本不对导致第一种情况基本可以排除，因为我是用Anaconda安装的tf，python使用的是3.6，没有py

关于CMake由于CMake的跨平台特性，现在已经被越来越多的项目使用。关于CMake的基础介绍，请参考cmake入门实践。本文提炼了一个精简的CMakeLists文件，通过适当的修改，可用于简单的项目中。模板直接上CMakeLists文件：# 指定最低版本cmake_minimum_required(VERSION 2.8)# 指定项目名称project(demo)# 为当前路径以及子目录的源文件加入由-D预编译定义# add_definitions(-DFOO -DDEBU

简介可以在训练过程中和训练完成后保存模型，这样就可以很方便地恢复和重用模型，节省模型训练时间。这样也便于别人使用你的模型，一般有两种方式共享模型：创建模型的源码训练好的模型（包括权重、参数等）这里主要使用第二种方式。使用的框架是TensorFlow2.4的高阶API：Keras进行模型训练。验证环境假设你已经安装好了TensorFlow2.4的运行环境。如未安装，请稳步 install安装依赖：pip install -q pyyaml h5py # Required to

锁锁是一个与多线程编程如影随形的技术。多线程是为了充分利用多核CPU，发挥出并行进程的效率。锁是为了在多线程编程中保证共享资源的安全性。得不到正确结果的程序，再快也没有用。但，使用锁，就会降低程序的性能。因为在有锁的地方，多个线程也必然顺序执行。所以，现在也有一些使用无锁队列的方式来保证多线程安全。对于只有一个客户端操作Redis实例时，在多线程的环境中，可以使用事务和WATCH组成的乐观锁来解决相关的并发问题。但是，在分布式系统，当多个客户端同时操作Redis时，可能就需要分布式锁才能保

简介自从c++11开始，使用std::thread类创建线程是非常方便的。类thread关联的对象构造后立即执行（当然会有操作系统调试延迟）作为构造函数参数的函数的返回值将被忽略如果函数通过抛出异常终止，则调用std::terminate但函数可通过std::promise或通过修改共享变量（可能需要同步，请参见std::mutex和std::atomic）将其返回值或异常传达给调用方注意以下几点：线程对象是不可复制的，只能移动线程对象要么被join，要么detach，否则可能会导致

安装Anaconda官网下载：Anaconda3-2020.02-Linux-x86_64.sh直接执行脚本，开始安装过程，中间选项根据需求选择，不清楚的选默认。安抚完成。根据安装目录把conda加入到系统环境变量。创建虚拟环境开始前，先配置conda的下载源：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels htt

环境系统环境：% cat /etc/issueUbuntu 18.04.5 LTS
\l安装的tensorflow为当前Release版本：tensorflow-2.4.1.tar.gz。可直接到github下载。在其他版本的Linux上也可以安装。本文目标：编译出tensorflow的动态链接库以及准备好tensorflow第三方依赖库。基础包包括但不限于python3、Numpy、tar、zip、git等。如果有缺失，安装过程中会报错，根据提示安装即可。大部分系统已经默认

目标安装c语言版本的tensorflow2.4版本库及头文件。安装完成后，能够使用c语言调用tf2库。支持平台：Linux, 64-bit, x86。其他版本可在文后链接查询。安装直接使用编译好的动态库和打包好的头文件，免去编译过程，直接使用。下载地址：仅支持CPU版本：https://storage.googleapis.com/tensorflow/libtensorflow/libtensorflow-cpu-linux-x86_64-2.4.0.tar.gz支持GPU版本：ht

简介目前，大多数Linux系统自带python2了。但是很多应用却需要python3。于是安装了python3。每次执行的时候，输入python时默认启动python2，输入python3才会启动python3。在pip安装了Numpy后，启动python3导致模块时，依然报错：ModuleNotFoundError: No module named ‘numpy’原因由于系统默认的是python2，所以pip直接执行时，安装的都是python2的包。安装后使用Python2是可以正

简介和其他大部分的 NoSQL 不同，Redis 是存在事务的，尽管它没有数据库那么强大，但是它还是很有用的，尤其是在那些需要高并发的网站当中。使用 Redis 读/写数据要比数据库快得多，如果使用 Redis 事务在某种场合下去替代数据库事务，则可以在保证数据一致性的同时，大幅度提高数据读/写的响应速度。在 Redis 中，存在多个客户端同时向 Redis 系统发送命令的可能性，因此同一个数据，可能在不同的时刻被不同的线程所操纵，这样就出现了并发下的数据一致的问题。为了保证异性数据的安全性，Re

并发这里针对Redis操作中的并发，有两个层面的意思：在单进程中，同时多个线程执行Redis写操作在同一个连接中在不同的连接中在多个进程中，同时执行Redis写操作，相当于上述场景同时存在多个假设以下应用，对 hash 表执行以下操作（更新值）：hget 读取指定 field 的 value修改 valuehset 重新写回在单线程中执行上述操作是没有任何问题的，下面分析一下多线程的情况。事务在多线程环境中，当只有一个连接时，可能会出现以下问题：线程A执行，步骤

简介Bazel是Google开源的编译构建工具，以Monolithic Repository为理念。与makefile & CMake不同，Bazel另起炉灶，采用client/server运行模式，为云编译而生。Bazel工具将编译过程分三个阶段：Load Phase/Analysis Phase/Execution phase。研发人员实现workspace/build/.bzl三种文件，Bazel执行这些文件生成action graph，执行action来构建项目。Bazel优点：

单机Redis存在的问题Redis单机部署简单方便，只需下载编译，启动服务即可使用。一个Redis服务就是一个Redis实例，对应于一个进程，Redis6.2版本支持多线程，但多线程只是用于网络和IO，执行命令依然是单线程。一般情况下，使用一个Redis实例进行测试是足够的。但在生产环境下，随着业务量增加，单机版Redis逐渐会暴露出以下问题：存储能力局限于单机内存，扩容不便Redis实例宕机后无法持续提供服务，达不到高可用所有读写操作单机承受，可能成为并发性能瓶颈这时候，Redis主

查看Redis各项指标首先要能够连接到Redis并获取性能相关的指标。本文使用redis-cli客户端指令连接到Redis，使用info [section]命令获取相关指标。不指定section时，会获取所有10项指标：ServerClientsMemoryPersistenceStatsReplicationCPUModulesClusterKeyspace也可以指定section为其中之一，这样只会输出相关内容：下面分析一下可能造成性能问题的指标。基准性能我们

默认安装使用Ubuntu18.04，默认安装Redis方式如下：sudo apt install -y redis-server默认方式会把Redis安装在/usr/bin/下：# whereis redis-serverredis-server: /usr/bin/redis-server /usr/share/man/man1/redis-server.1.gz但是，这里方式安装的Redis可能不是最新版本的。如我的机器上安装的版本是4.0.9:# redis-cli -vred

获取GitHub数据方式要想从网络获取数据，就要使用Web API，通过它可以使用非常具体的URL请求特定信息。返回的信息通常是JSON或CSV格式，使用Python能够很方便地处理它们。本节，我们请求的网站URL为：https://api.github.com/search/repositories?q=language:python&sort=stars它返回GitHub当前托管Python的仓库项目和按星标排序后的数据。返回的数据示例如下：可见，GitHub上共有Python仓

简介项目中经常需要对日志文件进行分析，之前使用Shell，常用的是grep, awk, sed等。使用Shell有一个缺点，就是可视化不友好，经常需要把分析后的文件导出，再用Python/Excel可视化一下。本文直接使用Python对日志文件进行分析，并使用matplotlib进行可视化。数据这里的数据文件选用一个天气数据文件，它存储了某地一个时间段的最高温度、最低温度等数据。目的是把不同时间点最高温度和最低温度数据进行可视化，用折线图的形式绘制出来。数据文件引用《Python编程——从

现状几十年前，还没有手机，没有网络，人们获取新闻的方式是报纸。而每天读报纸的人并不多。几年前，人人都有一部手机，人人都可以同时获取世界上任一角落发生的事情。即使你并不想知道。如今，短视频、长视频、视频号统统安装在手机上，人人都可以看到世界任一角落的人。即使你并不关心。未来，虚拟现实？瞬间转移？世纪穿越？还是其它？回归本质社会的发展是日新月异的，而人类本身的发展，依然一如既往。借助于飞机汽车，人类可以轻易日行万里。借助于眼镜，人类可以看到原本看不到的极限。人类会使用工具，这是人类与其他动

简介C++语言本身及Linux操作系统均提供了时钟相关的函数，可以方便获取时间。但是，在一些场合下，需要的时间精度不同，又不能通用。如果依赖于Linux平台，又不能做到跨平台。所以优化考虑使用C++语言本身提供的函数。本文介绍使用 std::chrono 命名空间下的函数来获取时间戳。需要 c++11 支持。关于时间函数的介绍，请参考 Linux c++获取本地毫秒级精确时间 。获取时间跨度在测试一段程序的耗时时，经常需要统计时间跨度。示例代码如下：int countTimeCons

高知背景程序员、律师和医生，是我们在生活中经常需要打交道的角色。律师和医生很容易理解，需要的时候自然要向他们寻求帮助。而程序员，小到外卖小哥被困，大到火箭升空失败，都有可能把他们推到我们的视野里。他们大概有一个共同特点，那就是高知识、高学历的背景。很可能，也只有这一个共同点。选择的路世上本没有路，走的人多了，便有了“路”。高中时，你的同桌、你的同学，几年后，就是一个个的程序员、律师、医生…这没有定数，只是选择使然。在学生时代，大家都是一样的热血少年，走出大学校门，没有两个人会经历完全

背景这是之前看到过的一篇文章，今天突然又想起来了。现在想想问题，有点想笑。但自己上学时，做家教也经常看到那小孩的父亲在看股票走势，也想过上述问题。说到投资，不能回避的问题有两个：一个是房子，一个是股票。时至今日，自己也有了一套房子，也有了一点投资基金和股票的经验，想谈谈对这件事情的理解。房子现在政策已经很明确了：房子是用来住的，不是用来炒的。这是2016年政府提出的，新闻报道如下：2016年12月中旬，中央经济工作会议提出，要坚持“房子是用来住的，不是用来炒的”的定位，要求回归住房居

简介本文以天气时间序列数据集为例，讨论如何使用深度学习模型预测未来天气温度。使用的是由德国耶拿马克思普朗克生物地球化学研究所的气象站记录。数据每10分钟记录一次，共记录14种不同的量，如气温、气压、湿度、风向等，原始数据可追溯到2003年，本例只使用2009-2016年的数据。数据下载并解压数据略。加载数据：data_dir = r'E:\practice\tf2\temperature'fname = os.path.join(data_dir, 'jena_climate_2009_

简介这是一个使用深度学习处理文本序列的示例。我们已经尝试使用密集连接层处理过IMDB数据集，回顾请参考Imdb影评分类。本文使用循环神经网络来处理文本序列。文本处理文本可以理解为单词序列或字符序列。现在已经广泛使用的自然语言理解、文档分类、自动问答等都可以看作是深度学习在文本识别领域的应用。本文介绍的深度学习模型并没有像人类一样真正地理解了文本，而只是映射出书面语言的统计结构，但这也足以解决许多简单的文本处理任务。深度学习用于自然语言处理是将模式识别应用于单词、句子和段落，这与计算机视觉

简介关于使用Dense层（密集连接型网络）处理MNIST数字图像分类的问题，可以参考使用keras构建和训练mnist的神经网络。卷积神经网络，是计算机视觉领域使用最广泛的一种深度学习模型。可以对比，使用简单的卷积神经网络，即可达到比使用Dense层模型精确度更高的模型。与密集连接层不同，卷积层学到的是图像的局部模式，而Dense层是从输入空间中学习全局模式。这个重要特性使用卷积神经网络具有以下特点：学习到模式具有平移不变性，这使得它可以在图像的任意位置识别该模式，能够高效利用数据，只需要更少

简介一句话介绍Eigen：Eigen is a C++ template library for linear algebra: matrices, vectors, numerical solvers, and related algorithms.Eigen是用于线性代数的C++模板库：用于矩阵，向量，数值求解器和相关算法运算。特点：功能完善：支持所有大小的矩阵、支持所有标准数据类型等速度极快：表达式模板允许在适当的情况下智能地删除临时文件并启用延迟计算高可靠性高灵活性机器学

简介与以往解决分类问题不同，它输出的是一些离散的值，本例解决的是回归问题，输出的是连续的值。本例将用于预测上个世纪70年代中期波士顿郊区房屋价格的中位数。已知当时的一些数据点，如犯罪率、房地产税等。注意，本例中包含的数据点较少，只有506个，分为404个训练样本和102个测试样本。且输入数据的每个特征都有不同的取值范围。有些特征是比率，取值范围为0-1，有些特征是取值为1-12，还有些特征取值为0-100等。下面开始。加载数据该数据集内置为keras，直接加载即可：from keras

简介编码不易，每家公司都有它的脾气。c++的编码风格也有不少流派，这里独选google，一是因为它牛逼，向牛逼的学习总没错，二是它有很多开源项目使用的就是这个风格。当你不知道怎么做才好时，就先用google的吧，已经有无数前仁验证过了。本文不是要再罗列一遍所有的细则，而是提炼出编码中随时需要使用的部分，作出总结，这样方便参考。具体结节，还请稳步开源文档：C++ 风格指南。头文件使用 #define 保护，为保证唯一性，头文件的命名使用项目目录的全路径避免使用前置声明，使用 #inclu

简介本文将着手构建一个网络，将路透社新闻划分为46个互斥的主题，与二分类问题不同，这是一个多分类问题。关于二分类问题的处理方式，请参考：使用Keras处理深度学习中的二分类问题——Imdb影评分类。对于某个新闻，它只能划分到46个类别中的一个，所以这个问题又是单标签、多分类问题。如果每条新闻可以划分到不同的主题，那就是多标签、多分类问题了。路透社数据集由路透社在1986年发布，包含许多短新闻及其对应的主题，它是一个简单、广泛使用的文本分类数据集。它包含46个主题，某些主题的样本会比较多，有些比较

简介二分类问题是应用很广泛的机器学习问题，它根据输入，回答yes/no。IMDB数据集，包含来自互联网电影数据库（IMDB）的50000条严重两极分化的评论。数据集被分为用于训练的25000条评论和用于测试的25000条评论，训练集和测试集中都包括50%的正面评价和50%的负面评价。IMDB数据集内置于Keras库中，它已经过预处理，单词序列的评论已经被转换为整数序列，其中每个整数代表字典中的某个单词。下面开始。加载数据直接加载IMDB数据：from keras.datasets imp

浮盈和落袋为安投资的唯一目的——赚钱。我们的很多投资，说今年盈利了50%，某某股票涨了300%。其实，还在投资资产的钱赚到的钱，叫做浮盈。这只是账面上看到的盈利。浮盈可以很高，但并不等于你已经赚到了那么多钱。只有把这股票卖出了，减去成本（管理费、手续费、税费等），最终转入银行卡中的钱，减去本金，才是投资获得收益。卖出资产，并把浮盈转化为真正的收益的过程，这是落袋为安。说说A股大盘基金不同于股票投资，重在长期持有，给时间以耐心，时间会给你回报。但我们也知道，不是所有的基金都可以投资后

背景程序需要从文件中读取double精度的数据。随着程序的更新，文件也会更新。但有时候，更新了文件，却忘记更新程序，这时启动程序时，就会coredump。gdb coredump也很容易看出问题，但不能一出问题就让程序crash啊。于是加了try来catch异常，但是无果，还是dump，于是查了一下，发现了atof的问题。stod vs atofatof是c代码里的库函数，用于把字符串转换为double精度的数字，原型如下：#include <stdlib.h>double

张量神经网络使用的数据经常是存储在Numpy数组中，也称为张量。一般来说，当前所有机器学习系统都使用张量作为基本数据结构。张量这一概念的核心在于，它是一个数据容器。它包含的数据几乎总是数值数据，因此它是数字的容器。矩阵是二维张量，张量是矩阵向任意维度的推广，张量的维度通常也叫做轴。常用的张量数据如下：标量（0D张量）：仅包含一个数字的张量。在Numpy中，一个float32或float64的数字就是一个标量张量可以使用ndim属性查看一个Numpy张量的轴的个数标量张量有0个轴，张

system调用这种方法简单粗野，适用于Linux系统。代码如下：#include <iostream>#include <string>#include <sys/types.h>#include <sys/stat.h>#include <signal.h>#include <errno.h>int main(int argc, char **argv){ if (argc != 2) { cout

简介最近遇到了一个问题，使用Tcp通信时，数据接收端有较大的时延。使用的是一个发送端，多个接收端的广播模式。加入了时间戳调试，发现send发送后，当数据量较大时，过了好几秒rcv端才接收到。一开始怀疑是客户端处理数据较慢导致的，加入了多线程处理，依然无效。而且观察了rcv端的数据处理线程，cpu并不高。而且send端内存在一直增大，才怀疑是网络堵塞造成的。为了验证这个猜想，需要监控各个网卡的流量，于是这用了这个工具iftop。最后发现，果然是由于网络带宽不足引起的阻塞。这里做一记录。ift

简介最近的应用程序遇到了点问题，它总是在退出的时候段错误崩溃。段错误大家应该不陌生了，内存使用不当导致段错误。通过尝试gdb core文件，dmesg，objdump库文件等方法终于定位到了崩溃原因。这里作一记录。gdb无效时使用dmesg调试我打开了coredump配置：在运行进程的终端执行：ulimit -c unlimited，该方法只能临时打开当前终端的内核转储，详细方法请参考：内核转储-coredump简介程序崩溃时产生了core文件，但是gdb打印的情况如下：Progr

基础简介人们在谈论AI时，常常会混淆人工智能、机器学习和深度学习的关系。其实，它们之间的关系很简单，一张图就说明了：人工智能是非常宽泛的，一般来说将通常由人类完成的智力任务自动化，就可以称为人工智能。因此，人工智能是一个综合性的领域，不仅包括机器学习和深度学习，还包括许多不需要学习的方法，如：一个自动化完成特定的任务的脚本程序，如定时任务早期的国际象棋程序，由精心编写的硬编码规则完成，不涉及机器学习只要足够用心，硬编码理论上可以解决许多明确定义的逻辑问题。但是它难以处理更复杂、模糊的问

简介使用c++开发程序时，虽然c11和boost提供一些跨平台的特性支持，但是涉及到操作系统层面的一些功能还是不能有效地跨平台。本文旨在提炼出这些经常使用的，但又不能跨平台的功能，形成一个工具库，方便以后使用。代码结构该工具库共由两个文件组成: cross_platform_utils.h和cross_platform_utils.cpp。h文件如下：#ifndef _CROSS_PLATFORM_UTILS_#define _CROSS_PLATFORM_UTILS_#include

NumpyNumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。许多深度学习框架使用Numpy作为基础的数据分析包，了解它的基础使用对于入门机器学习很有帮助。NumPy 是一个运行速度非常快的数学库，主要用于数组计算，包含：一个强大的N维数组对象 ndarray广播功能函数整合 C/C++/Fortran 代码的工具线性代数、傅里叶变换、随机数生成等功能下面默认已经安装了python

boost threadboost thread类使用简单，能够方便地管理整个线程的全生命周期，应用广泛。thread配合ios使用时，能够方便地创建线程池，具体请参考boost::asio::io_service创建线程池简单实例。创建线程对于一般的使用，是启动一个线程，运行一个函数，在函数内完成特定的任务。#include <boost/thread.hpp>void foo(){ cout << "foo" << endl;}boost:

简介在Linux下使用kill -9 pid轻松关闭程序。在windows下也可以使用taskill来达到同样的目的。注意，windows系统不区分大小写。语法TASKKILL [/S system [/U username [/P [password]]]] { [/FI filter] [/PID processid | /IM imagename] } [/T] [/F]其中：/S system：指定连接远程系统/U username：指定命令执行的用户上下文/P [passw

目的实现如下功能：std::string str1 = "iloveyou";std::string str2 = "ILoveYou";if (icasecompare(str1, str2)) { cout << "str1 is equal to str2
";}bool icasecompare(const string& s1, const string& s2){ //?}使用系统库这是比较简单的方法，但由于不是c++标准的一

输出脚本详细步骤set -x打印输出及提示用户输入echo -e "I will use 'touch' command to create 3 files."read -p "Please input your filename: " fileuserfilename=${fileuser:-"filename"} # 开始判断有否输入了文件名，如果没有输入，则使用默认的filenamedate1=$(date --date='2 days ago' +%Y%m%d) # 前两天的日期d

utf-8编码# --coding: utf-8--打印print("hello world")print("Hens", 25 + 30 / 6)print(3 + 2 + 1 - 5 + 4 % 2 - 1 / 4 + 6)print("Is it greater ?", 5 >= -2)print("It's fleece was white as %s." % 'snow')print("." * 10)formatter = "%s %s %s %ss"print

前言大部分投资行为，都是有人赚钱，有人赔钱。越是想赚大钱的人，赔大钱的概率就越高。存银行定期或者买货币基金，基本上没有赔钱风险，但很有可能会陷入“钱越存越少”的尴尬困境——利率小于通胀。所以，在经历了一系列风风火火的投资之后，不少人又重回这一投资领域——基金。风险适中，收益能够完美跑赢通胀，是普通大众投资理财的不错选择。就像炒股时不知道选哪一支股票一样，投资基金面临的第一个问题，就是如何选基金？基金分类想要选择合适的基金，第一步，就是要了解都有哪些基金。根据投资对象的不同，基金分类如下

简介mnist是机器学习领域的经典数据集，其用例学习堪比编程领域的的“hello world”。它包含60000张训练图像和10000张测试图像，这些图像是手写的数字，目的是要通过机器学习的方法把这些图像分为10类：0——9。mnist数据集预先加载在keras库中，其中包含有4个Numpy数组。关于mnist数据加载的问题，请参考本地加载测试mnist数据集——使用keras库。开始构建神经网络跟我一起来，按下面的步骤构建网络。加载数据集from keras.datasets im

简介在机器学习的领域里，一个经典的示例就是将手写数字的灰度图像划分到10个分类中。图像是28像素*28像素，10个分类就是0-9。数据集就是mnist。mnist数据集是机器学习领域的一个经典数据集，包含60000张训练图像和10000张测试图像，由美国国家标准与技术研究院（NIST）在上个世纪80年代收集得到。这个问题可以看作是深度学习领域的“hello world”，用它来验证算法是否按预期运行。马上开始吧！加载数据有两种方法可以加载到数据：网络下载from keras.dat

简介关于TensorFlow的安装，请参考。对于不熟悉DNN的同学，直接上复杂的概念不容易上手，我觉得还是先来点简单的。本文就是使用TensorFlow2实现在屏幕上输出“Hello World”字串的功能。即使是这么一个简单的程序，中间还是有一些小问题，一并解决。代码这是第一版代码，使用的TensorFlow v1.0版本代码，网上可以找到许多这样的代码：'''HelloWorld example using TensorFlow library.Author: Aymeric Da

引言今年的行情已经让一部分人赚的盆满钵满。他们的做法很简单：买入并坚持持有。如此简单的做法，大部分人却做不到。不是割肉卖出，就是卖空了，却一直飞涨。我不禁陷入了沉思。作为一个普通人，怎样才能在投资基金中赚钱？关于投资投资的方法和渠道非常繁多：学习、基金、股票、房产、实业、创业…任何一种你投入了时间和金钱并期望以后能获得更多回报的行为，都可以说是投资。关于学习，我就不多说了，当你不知道投资什么时，就投资自己。再教育、培训班、自学等等，都是提高自己能力的方法。房产，这个更不必多说。所有

趋势跟踪策略概述CTA，全称Commodity Trading Advisors，即商品交易顾问，最初指通过为客户提供期货、期权方面交易建议或通过受理期货账户直接参与交易来获取收益的机构和个人，现泛指投资各类期货、期权品种的大类策略。通俗的讲，趋势跟踪其实就是民间流传甚广的追涨杀跌，即买入已经开始上涨的投资标的并期望其继续上涨；或是卖空已经开始下跌的投资标的，并期望其继续下跌。趋势跟踪策略的核心：投资标的选取入场出场信号的产生资金管理说到趋势跟踪策略，我们不得不提海龟交易法则。海

简介看到这篇文章的同学，应该都知道Tars和Dcache了。但在使用时，有时会遇到冰冷的数字：错误码。由于没有文字描述性信息，还要回去查看各种文档，甚至查看源码。这是笔者的经历。经过查找，找到了定义错误码的源文件，贴在此处，方便查阅。最新定义以官方代码为主。Tars框架错误码tars错误码文件位于：tarscpp/servant/protocol/servant/BaseF.tars。module tars{/////////////////////////////////////

风险模型Alpha是指超越某个标的的收益，相对应的是Beta收益。我们已经知道，Beta收益很容易获利，而Alpha收益较难获得。我们构建一个股票的投资组合，需要预测股票未来的收益。同时我们还要预测整个组合未来的风险。要想预测，就要先把风险刻画出来。风险可以定义为使投资的本金损失的可能性。本金可能损失，也可能不损失，即使不损失本金，风险依然是存在的。风险是抽象的，不同的投资者对风险的感受不同。风险对于投资的影响是显而易见的。说到投资，没有人不提风险。因为无论收益多高，一旦遭受风险，都可能在一波回

期现套利策略概述期现套利，广义上是利用期货与现货之间的交易进行套利，这里具体指股指期货的期现套利。股指期货是期货的一种，标的是某个股价指数，是对该股价指数未来价格的交易。一般采用现金结算，最终结算价取决于指数本身，与期货的交易价格无关。在内地市场，主要有3个股指期货：沪深300股指期货、上证50股指期货和中证500股指期货。期现套利策略是对股指期货折溢价波动的交易。股指期货折溢价称为期现基差，期现基差 = 股指期货价格 - 指数点位。原理由于股指期货的最终结算价格由指数决定，因此每

背景项目中经常需要对std::map进行插入和取值操作，以前经常使用find和[]直接操作，c++11引入了at方法。本文主要介绍它们的使用方法和不同之处。find很直观的查找元素操作，如：#include <map>#include <iostream>using namespace std;int main(){ map<string, int> m; m["xiaoming"] = 80; m["xiaogang"] = 90; m

背景以前的证券交易基本上全靠交易员。投资经理说今天11点前买入10000股600000（浦发银行），那么具体的买入操作就由交易员来完成。他可以一次性地向交易柜台发出买入10000股的指令，也可以从10点买入5000股，10点半再入手5000股。而买入的成本，则由交易员的经验和直觉决定。一般而言，交易成本包含两类：显性成本，包括佣金（券商佣金、交易经手费、监管费用）、过户费（交易所）、印花税（国家）隐性成本，包括买卖价差、冲击成本、择时成本、机会成本等冲击成本：由于自己交易指令的下达导致

简介ubuntu作为服务器使用时，常常需要在机器重启时能自动启动我们开发的服务。Ubuntu 16.10开始不再使用initd管理系统，改用systemd，包括用systemctl命令来替换了service和chkconfig的功能。systemd 默认读取 /etc/systemd/system 下的配置文件，该目录下的文件会链接/lib/systemd/system/下的文件。不同于以往的版本，ubuntu18.04默认不带/etc/rc.local文件，我们需要通过配置来让rc.local.

套利策略套利：利用同一商品（或相似商品）在不同市场上的差价，进行低买高卖的交易行为。很容易理解，其实现实生活中处处存在着套利：小A从某多多上团购价入手了一批商品，价格较低，放在某鱼上原价卖出小B从港台整了批水货iphone，拿到内地高价卖出对，这些都属于套利，只是小A是合法的，而小B是非法的。所以，套利本身是中性的。套利策略之所以会存在，其内在逻辑是：相同（或相似）的产品的交易价格应该是相同的不同的市场，或依托不同的渠道，其交易价格往往是不同的此时，买入低估的，同时卖空高估的，等

npm ERR! code EAI_AGAIN如下图：这个错误网上有多种解释，也有多种解决方法。我这里的解决方法是修改了npm的源。原来使用的是 http://mirrors.cloud.tencent.com，修改为：https://registry.npm.taobao.org。修改方法：npm config set registry https://registry.npm.taobao.org，输入npm config get registry 验证成功。这样配置后，会写入~/.np

修改默认编译器为wimubuntu18.04的默认编译器为nano，当一个命令，如’sudo visudo’时，就会弹出nano编辑器。对于习惯vim的用户来说，得先来修改它，方法如下：确认系统已经安装了vim，可以直接输出vim测试修改：sudo update-alternatives --config editor，需要sudo权限，否则会失败，显示如下：选择vim.basic选项，这时是3，回车即可。此时再次打开时已经是vim编辑器关闭sudo每次输入密码在安装软件等需要

安装mysql最简单的方式是安装默认的版本5.7：更新包：sudo apt update安装：‘sudo apt install mysql-server -y’验证：sudo systemctl status mysql.service搞定。安全配置执行命令：sudo mysql_secure_installation根据提示依次设置：密码有效强度移除匿名用户禁止 root 远程登录移除测试数据库及其访问重新载入权限表测试环境建议直接回车，即全部选no。生产环境建议

“时间管理”“时间管理”这个词现在是大红大紫了。围绕这个话题，谁都可以说上一通。然而说完仍然是云里雾里…说白了，这里用这个名字就是为了蹭热点（不要脸），哈哈。我以为，时间是不可管理的。每个人都一样，每天24个小时，每年365天。谁也管不了。然而，可以管理的，是自己。自己用这24小时来做什么、怎么做，是我们今天这篇文章关注的重点。做什么？A：这个问题有意思，做什么又不是程序员自己决定的，应该去问问主管吧？B：废话，做什么当然是自己决定的，主管还能天天过来告诉你今天的任务是1、2、3？一

投资广义上，把资金用于购买资产，并期待资产增值带来更多的资金收益，就是投资。投资中的两个关键因素：收益和风险。所有人都希望投资的收益越高越好，风险越低越好。但高收效和低风险就像是跷跷板的两端，不可同时兼得。高收益往往对应着高风险，低风险往往只能获取较低的收益，这是投资真理。量化基金投资投资的种类有很多，包括最常见的银行定期存款、房地产、PE、VC、炒股、基金等。而量化基金投资，是相对于基本面投资而言的一种投资方法。量化投资将二级市场金融资产（股票、债券、期货、期权等）作为研究对象，应

简介机器学习是指帮助软件在没有明确的程序或规则的情况下执行任务。对于传统计算机编程，程序员会指定计算机应该使用的规则。但是，机器学习需要另一种思维方式。现实中的机器学习对数据分析的注重程度远高于编码。程序员提供一组样本，然后计算机从数据中学习各种模式。可以将机器学习视为“使用数据进行编程”。TensorFlow 是一个端到端开源机器学习平台。它拥有一个全面而灵活的生态系统，其中包含各种工具、库和社区资源，可助力研究人员推动先进机器学习技术的发展，并使开发者能够轻松地构建和部署由机器学习提供支持

背景在如今福报和996盛行的互联网世界里，仿佛不加班的程序员已经不是好程序员了。在以前，加班从来都是不得不的临时应对策略。比如明天就要验收了，今天得把所有项目收尾做完。下周就要出差了，你加会班把手头的任务做一了结。但现在，生活节奏加快，工作任务繁重起来。特别是在软件编程领域，即使像服务器一样7*24工作恐怕也不会有把所有事情做完的那一天。软件是“软”的，所以可以一直不停地改下去。这未必是需求的变更，即使是对于追求完美的程序员们，只要你愿意，你总是可以使它更加完善。本文是笔者突(chun)发(sh

简介Anaconda 是一个用于科学计算的 Python 发行版，支持 Linux, Mac, Windows, 包含了众多流行的科学计算、数据分析的 Python 包。类似于Ubuntu是Linux的发行版，你基本不会直接去使用Linux，而是选择一个发行版，如Ubuntu/CentOS/RedHat/Debian等，因为发行版已经提供了基础的组件、库和应用，使用非常简单方便。所以，想要学习Python的同学，不要再纠结python2/python3等种种版本了，也不要再纠结各种包的管理和代码移植

简介有时需要对map中的key进行一些单独的处理，这时将它们拷贝到一个vector中再处理会方便些。以下方法对unordered_map同样适用。以key为string类型为例。先介绍几种获取map中key的方法，对于获取set中key的方法，与map类似。文末简要介绍。遍历取值这是普通朴素的方法，直接上代码：// 省略头文件和using声明template<typename T>void MapKeysToVector(const T& in, vector<

简介介绍协程之前，先来复习一下进程和线程。进程：应用程序的启动实例，是计算机资源分配的最小单位，进程拥有代码和打开的文件资源、数据资源、独立的内存空间。线程：从属于进程，是程序的实际执行者。是计算机调度和执行的最小单位。一个进程至少包含一个线程，为主线程，也可以有更多的子线程，子线程共享进程的文件和数据。线程拥有自己的栈空间。它们在操作系统中的关系如图：通常，应用程序是采用单进程多线程的方式，这样既能使用较小的系统资源，又能把占用的资源使用率最大化。多线程允许程序充分利用多核cpu的优势

简介本文适用于使用源码部署的Tars框架。具体部署请参考腾讯开源后台开发框架Tars安装。这种方式安装的框架，其各个服务是编译出来的独立的进程，所以更新时也是独立更新。注意：不建议单独更新某一个模块，因为各个模块的版本可能存在依赖关系，建议整套升级。本文是笔者自行安装后的总结，具体以官方发布为准。升级步骤下载最新版本代码git clone https://github.com/TarsCloud/TarsFramework.git --recursive如果已经有这个代码，执行’g