guotianqing的博客

rsyncrsync: remote sync，远程同步，用于在本地机器及远程机器之间同步数据。对于本地机器之内，同步数据使用cp即可。对于本地与远程，使用scp即可。但上面两个命令同步数据时一般是无脑覆盖文件，而rsync则不会直接覆盖以前的数据（如果数据已经存在），而是先判断已经存在的数据和新数据的差异，只有数据不同时才会把不相同的部分覆盖。怎么判定文件有改动呢？默认是检查文件大小和最后修改时间是否一致，如果一致则认为无变动，不会传输该文件，如果不一致则同步。对于想让两台机器某个目录一致的

参数个数判断输入的参数个数是否正确：if [ $# != 3 ]; then echo all params size is $# echo "USAGE: $0 param1 param2 param3" exit 1;fi如果未输入参数，使用默认，如果输入了参数，则使用参数：# tradeday默认为当前日期tradeday=$(date +%Y%m%d)# 如果用户输入了参数，则重置tradeday为输入的参数if (($# == 1))then t

md5sum在Linux下，我们经常使用md5sum命令来查看两个文件是否相同。md5sum命令会逐位对文件的内容进行校验。是文件的内容，与文件名无关，也就是文件内容相同，其md5值相同。存在两个文件不同，但md5sum相同的情况。不过这个情况出现的概率还是很低的，所以md5值仍然是常用的方法。md5值是一个128位的二进制数据，转换成16进制则是32（128/4）位的进制值。如果对结果的准确性要求极高，可以使用sha系列算法，比如SHA1、SHA256、SHA384、SHA512等。如前所述

进度条tar处理小文件时，非常快，不需要看进度。但当文件比较大时，耗时较长，这时需要个进度条看一下，以评估剩余时间。Linux下，可以使用pv来显示进度。pvpv用来监视数据通过pipe的进度，能够显示耗时、完成率（进度条）、当前吞吐率、总传输字节等信息。使用方式：在两个程序之间，以合适的参数插入pipeline。pv将会把提供的文件拷贝到标准输出，如果没有指定文件，将拷贝标准输入，这时它的行为和cat一致。如，查看使用nc传输一个文件的速度：pv file | nc -w 1 som

常用压缩Linux下常用的压缩包括：tar: 如 tar zcvf a.tgz ./azip: 如 zip -qr a.zip ./a如果只在Linux系统上使用，应用最多的是tar，如果涉及到与windows交互，一般用zip。但有一个问题，就是它们在压缩时，最多占用一个cpu到100%，是单线程的，当要处理的文件比较大时，将非常耗时。这里以使用tar为例，来介绍一下多线程压缩工具pigz。使用多线程pigz通过查看tar的man page，可以看到Compression opti

环境docker安装在Centos7上，机器重启后，发现docker里服务都没启动。查看了一下：% docker ps -aCannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?原来是docker服务没有启动。需要把它设置为开机启动。设置docker服务开机启动先启动服务，再设置为开机自动启动：# 启动服务% systemctl start do

公务员、医生、律师和教师最近身边越来越多的人感慨，当公务员真好啊！可能是人到中年的缘故，面对着房子、车子、孩子的多重压力，稳定成为最为关心的事情。过了35，年青时的拼劲、闯劲少了很多，上有老，下有小，整天面对着柴米油盐，失业更是难以面对的。所以，讨论什么行业越老越吃香的声音也多了起来。于是，公务员、医生、律师和教师等行业被推崇之至，原因是这些行业的人越老越吃香嘛。甚至已经有以前的同事已经自学转行去了当律师了，这速度、这能力不得不令人叹服！越老越吃香不可否认，“躺着赚钱”大概是所有人的梦想

死锁及避免死锁的产生：线程a获得资源x的锁后，去获取资源y的锁，在这个空当，线程b获得了资源y的锁，再去获取x的锁。此时，显然地，a获取y的时候，陷入等待，b获取x的时候，也陷入等待，两个线程因为锁而死亡，即发生了死锁。在实际的项目中，死锁是一种较难发现和定位的程序bug，因为程序表面上看起来一切正常，没有崩溃，不会有coredump。但程序此时的两个线程已经没有在工作了，它们的既定任务也不会被正确地执行，所以无法得到正确的结果。死锁的定位：如果在程序中使用了多个锁，特别是使用了嵌套锁，而线程又

原始数据假设有以下df：df = pd.DataFrame({'a': [1,2,3,np.nan,4,5], 'b': [4,5,np.nan,6,7,np.nan], 'c': [np.nan,np.nan,'what','how','why',np.nan]})# a b c0 1.0 4.0 NaN1 2.0 5.0 NaN2 3.0 NaN what3 NaN 6.0 how4 4.0 7.0 why5 5.0

问题解决有两个df1，df2，目的是把df1的列复制到df2，df2原本没有这一列，行数相等。df2['WANTED'] = df1['WANTED']结果发现df2确立有了这一列，但所有的值都是None，不是df1[‘WANTED’]的值。查询原因是这种直接使用等号赋值的方式，只适用于df1和df2具有相同的index的情况下，其他情况会导致值为None。使用insert可以解决这个问题：df2.insert(df2.shape[1], 'WANTED', df1['WANTED'].va

原始数据假设有以下原始df：import pandas as pddf = pd.DataFrame([['a1','b2'],['c1','d3'],['e3','f4']], columns=['x','y'])print(df)#df x y0 a1 b21 c1 d32 e3 f4含有或不含有指定字符串筛选出所有含有指定字符串的行：# 找出x列中所有含有a的行：df[df['x'].str.contains('a')]# x y

nvccnvcc是NVIDIA CUDA Compiler，用来编译host和device程序。这里的术语：host：指CPU及其内存device：指GPU及其内存使用nvcc，就可以编译CUDA程序，CUDA程序包括host代码和device代码。在安装CUDA Toolkit后，nvcc内含其中。注意要安装与显卡版本匹配的CUDA Toolkit。我的nvcc版本：% nvcc --versionnvcc: NVIDIA (R) Cuda compiler driverCop

CPU VS GPUCPU: 中央处理单元。由数百万个晶体管组成，可以有多个处理内核，执行计算机和操作系统所需的命令和流程。GPU: 图形处理单元。由许多更小、更专业的内核组成的处理器。 在多个内核之间划分并执行一项处理任务时，通过协同工作，这些内核可以提供强大的性能。由于其设计目标的不同，它们分别针对了两种不同的应用场景。CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理。这些都使得CPU的内部结构异常复杂。CPU 基于低延时的设计，具有强大

远程连接vscode作为在Windows终端连接到Linux服务器直接进行代码编辑的工具，使用广泛。连接的原理是ssh，使用Remote-ssh插件。具体的连接步骤比较简单，简略说明一下：点击左下角的绿色按键: SSH在弹出的命令行中选择第一个：remote-ssh: connect to host选择增加一个新主机后面按提示填写主机地址、用户名、密码等信息即可连接成功等待底层命令行输出窗口显示连接成功后，可打开服务器上文件夹、编辑文件，非常方便。但是，每次重新连接后，都要输入密码，

定义管理者首先，需要定义一下管理者。我认为，作为一名管理者，需要符合下述条件：有项目有能够调动的人力资源（你应该能够直接或间接决定他们的薪水）被上级管理（如果你位于金字塔的顶端，我认为你不只是一名管理者，不在本文讨论之列）只有手握项目的人，才有可能成为管理者。因为如果你没有项目，很难凝聚到人才，谈管理无异于纸上谈兵。有了项目，就需要人来做。当你自己忙不过来时，你考虑组建团队，自己负责统筹把控，对项目结果负责，具体执行由团队成员负责。但如果你并没有能够决定团队成员薪水的权力时，别人未必听

现象在centos下可以运行的脚本，拷贝到ubuntu下直接执行报错：./restart.sh: 5: ./restart.sh: Syntax error: "(" unexpected检查脚本没有问题，使用命令调试执行脚本时也没有问题：bash -x restart.sh奇怪了。排查使用调试执行没有问题，就证明脚本本身没有问题，那就是环境可能有问题。也就是说，直接执行脚本时，不是使用bash执行的。经查，在ubuntu上，sh是/bin/dash的软链接，好吧，直接执行脚本是d

需求假设有个股票行情文件，内容如下，数据为虚构：code,time,open,high,low000001.SZ,095000,2,3,2.5000001.SZ,095300,2,3,2.5000001.SZ,095600,2,3,2.5000002.SZ,095000,2,3,2.5000003.SZ,095600,2,3,2.5000003.SZ,095900,2,3,2.5现在要计算每支股票high和low的均值，如果某股票的行情条数不足2条，则忽略不计。实现问题不难，方法

需求有一些github上的项目，学习使用时拉取的master，过了一段时间，想更新到最新，需要一个一个目录进去执行git pull。当目录比较多时，或者需要经常同步更新时，就比较繁索。写个小脚本，分分钟搞定它吧！shell脚本我平时在Linux上开发，于是shell脚本是第一选择。其实在windows上，使用git bash也是一样。废话不说，代码如下：#!/bin/bashfunction showGreen(){ echo -e "\033[32m $1 \033[0m

游离分支所谓游离分支，就是处于detached状态的分支，这里显示的不是分支的名称（如，main），而是显示一串hash值：ubun:~/work/@e9781a5 % gstHEAD detached at e9781a5Changes not staged for commit: (use "git add <file>..." to update what will be committed) (use "git restore <file>..." to d

问题写一段测试程序，我本意是想从一个DataFrame对象复制出来一个独立的副本出来，代码如下：df = pd.DataFrame()df1 = df# 改变df1的元素df1[row][col] = 'b'print(df)print(df1)结果打印出来的df也改变了。也就是说，在改变df1的时候df也改变了，它们实际指向的同一块内存。如何解决这个问题呢，查阅了一些资料，把原理和解决思路作一记录。两类对象首先来了解一下python中的两类对象：不可变对象和可变对象。