工具技能
jaywangpku
专注于后台开发,对数据库,文件系统,云存储,分布式图计算框架与信息学竞赛亦感兴趣。
展开
-
合成字符串方案总结
boost::formatstd::string attach = boost::str(boost::format( "{\"Akey\":\"Avalue\",\"Bkey\":\"%1%\",\"Ckey\":\"%2%\",\"Dkey\":\"%3%\",\"Ekey\":\"%4%\"}") %Bvalue%Cvalue%Dvalue%Evalue);合成json格式为:{ "Akey":"Avalue", "Bkey原创 2021-08-25 19:45:54 · 188 阅读 · 0 评论 -
git使用
1、安装git,创建git用户git config --global user.name "your_name"git config --global user.email "your_email"git config -l2、git clone 远程仓库git clone 远程仓库地址3、进入仓库目录,默认为master,切换分支等常用命令git branch -a # 查看所有分支git checkout dev原创 2021-06-13 16:08:31 · 142 阅读 · 0 评论 -
timeout 作用于 docker exec 时导致 docker exec hang住
timeout 作用于 docker exec 时导致 docker exec hang住博主在做一个与docker exec相关的项目时,发现,低版本docker与timeout命令一起作用时,表现为docker exec命令hang住。见:https://github.com/moby/moby/issues/28207经测试:timeout不管是直接,还是间接作用于 docker exec 都会发生这个问题。只要 docker exec 执行时,受某个 timeout 限制。存在该bug的 d原创 2021-01-01 14:33:15 · 949 阅读 · 0 评论 -
反向SSH实现内网穿透
挺好用,还没来得及整理https://cycoe.cc/2019/04/30/%E5%8F%8D%E5%90%91SSH%E5%AE%9E%E7%8E%B0%E5%86%85%E7%BD%91%E7%A9%BF%E9%80%8F/原创 2020-04-07 21:53:39 · 369 阅读 · 0 评论 -
E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarly unavailable)
E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarly unavailable)当我的Ubuntu install某个东西时,给出下面提示E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource tem...转载 2020-03-28 18:04:02 · 2134 阅读 · 0 评论 -
MPI环境配置(二)
MPI环境配置(二)在云服务器上搭建MPI分布式集群环境,采用NFS统一数据,这一次配置时遇到了几个问题,记录一下详细MPI集群环境配置NFS环境搭建,注意,NFS不需要ssh免密登录,不相关本次遇到的问题1、免密登录,需要能免密登录本机有两台机器,node1和node2那么不仅需要node1能够免密登录node2 和 node2能够免密登录node1,还需要node1能够免密登录n...原创 2020-03-11 19:59:19 · 689 阅读 · 0 评论 -
Ubuntu下修改文件夹的所有者权限
Ubuntu下修改文件夹的所有者权限之前买了一个云服务器,使用时一直使用root,后来认为那种方式不太好,便创建了一个新的用户wj。但是由于之前的文件均由root用户创建,导致wj用户权限不够,使用起来非常不方便,所以采用递归修改文件夹所有者的方式,一次性修改全部文件的权限。ubuntu下创建新用户两个命令Ubuntu中有两个修改命令可以用到,「change mode」&「chan...原创 2020-03-11 15:28:58 · 4291 阅读 · 2 评论 -
Ubuntu 配置 NFS
Ubuntu 配置 NFS分为两个机器,一个是nfs服务器主机,一个是nfs客户端主机使用两个云服务器配置了host ,见百度经验,或博主相关博客,主机名称分别是huawei 做客户机service 做服务器服务端配置安装nfswj@wj:~/nfs$ sudo apt-get install nfs-kernel-server配置/etc/exports文件/home/wj...原创 2020-03-11 15:14:36 · 368 阅读 · 0 评论 -
ubuntu创建用户的注意事项
ubuntu创建用户的注意事项出现的问题:/usr/bin/xauth: file /home/user/.Xauthority does not exist原因:是因为添加用户时没有授权对应的目录,仅仅执行了useradd user而没有授权对应的家目录直接解决办法如下(执行如下命令,以后就登录到终端上就不会出现上面的错误信息):chown username:username -R...原创 2020-01-09 21:02:43 · 980 阅读 · 0 评论 -
DEV-C++调试时出现“项目没有调试信息,你想打开调试选项并重新生成吗”
在NOIP中一般使用DEVC++,配置环境时可能遇到如下问题,导致无法调试在下载完DEV-C++以后进行第一次调试时,系统弹出以上窗口,点击Yes按钮后编译器出现秒退的情况。解决方案菜单栏>>工具>>编译器选项>>代码生成/优化>>连接器>>产生调试信息>>更改为Yes;...原创 2019-08-20 13:14:09 · 14344 阅读 · 5 评论 -
python安装及安装库的几种形式
pippip为python的包管理工具,首先要安装pip,然后通过pip可以安装大多数python库pip install libname# libname为库名某些库通过pip安装不了,可能是因为没有打包上传到pypi中,可以下载安装包之后离线安装,方法是pip install libpath# libpath为本地安装包地址,这些安装包一般以whl为后缀名。表示python扩展包...原创 2019-07-10 14:36:41 · 1957 阅读 · 0 评论 -
g++: internal compiler error: Killed (program cc1plus) 解决办法
编译过程中遇到这个错误主要问题:机器内存不足解决办法:使用机器的swap分区操作过程:# 使swapfile停止被占用sudo swapoff /swapfile# 重新分配swapfile的大小#count的大小就是增加的swap空间的大小,64M是块大小,所以空间大小是bs*count=1024MBsudo dd if=/dev/zero of=/swapfile bs=...原创 2019-06-29 18:42:06 · 6454 阅读 · 0 评论 -
mysql导入导出sql文件
window1.导出整个数据库mysqldump -u 用户名 -p 数据库名 > 导出的文件名mysqldump -u dbuser -p dbname > dbname.sql2.导出一个表mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名mysqldump -u dbuser -p dbname users> dbname_users...原创 2019-07-10 11:31:28 · 890 阅读 · 0 评论 -
django+mysql+nginx+wsgi+python2.7
建站简单学习了一下django,顺便安装了mysql,nginx,wsgi,python,在云服务器上建了一个小demo网站。传统的一站式建站方案有:lamp:linux+apache+mysql+php/pythonlnmp:linux+nginx+mysql+php/python等等等等但是万变不离其宗,理解整个服务是怎么回事才是最重要的,虽然博主也不是很了解,但是,去理解每个部分...原创 2019-06-29 16:02:08 · 281 阅读 · 0 评论 -
windows下安装mysql
安装环境系统环境:windows 10数据库版本:mysql 5.7.26安装步骤下载mysqlhttps://dev.mysql.com/downloads/mysql/下载5.7最新版本解压安装解压文件:mysql-5.7.26-winx64.zip将解压后的文件放置在准备好的安装路径下配置环境变量将mysql对应的bin目录配置在系统环境变量的PATH下注册mysql...原创 2019-07-08 19:59:25 · 180 阅读 · 0 评论 -
SVN 简易上手
为什么要用SVNGIT确实很不错,可是有的公司用的是SVN,所以还是得知道的。同时GIT肯定也是要学习的。参考:https://www.cnblogs.com/zcbing/p/6416525.html学习资料参考:https://www.runoob.com/svn/svn-intro.html基本点SVN 的一些概念:repository(源代码库):源代码统一存放的地方C...原创 2019-06-12 11:19:40 · 167 阅读 · 0 评论 -
MySQL命令行输出到指定文件
任务需要在mysql中输出表的信息,并将表的信息放置在文本文件中,后用python进行信息处理,在mysql命令模式下和linux的shell命令模式下使用>重定向效果是不同的,在mysql下不能采用这种方式重定向输出。操作使用mysql的tee命令,将mysql的所有输出都输入到指定文件mysql> tee /home/a.txtmysql> select * fro...原创 2019-06-14 13:36:42 · 2041 阅读 · 0 评论 -
ssh免密登录配置
ssh免密登录配置环境:ubuntu 18.04机群:三台虚拟机 master slave1 slave2目标:1、master单向可以登录slaves2、master与slaves可以两两之间互相登录master单向登录slaves虚拟机的IP信息如下:spark-master :192.168.73.134spark-slave1 :192.168.73.135spack-...原创 2018-10-15 23:58:49 · 200 阅读 · 0 评论 -
如何开始使用markdown
如何开始使用markdown找一份教材过一遍,快速理解markdown大概是怎么回事直接用就好了如果遇到不会的,那就根据理解,查谷歌比如:不知道如何调整图片大小了,查到结果是:<img src="C:\Users\Wang Jie\Desktop\2.png" style="zoom:100%" />这样子就好了看手册最合适了简书手册地址是:https...原创 2018-10-16 00:06:59 · 132 阅读 · 0 评论 -
BloomFilter原理和使用
文章目录BloomFilter原理和使用BloomFilter原理适用场景基础性质False-Positive推导Bloom Filter之python包pybloomfilterpybloomfilter代码实例BloomFilter原理和使用BloomFilter原理适用场景在很多场景下,会遇到流式元素的处理,最主要的是集合判断与去重问题。例如我们会判断一个email地址是否在黑名单中...原创 2018-10-25 21:34:14 · 2765 阅读 · 0 评论 -
Python 排序
文章目录Python 排序简单的升序排序key参数/函数Operator模块函数升序和降序排序稳定性和复杂排序多级排序(将边按照BFS排序)其他Python 排序对python的list进行排序,有方法sort和sorted其中,sort()为list内置的方法,而sorted()为全局内置的方法简单的升序排序直接调用sorted()方法,它将返回一个新的list,新的list元素基...原创 2018-11-09 16:24:43 · 493 阅读 · 0 评论 -
ssh-server与ssh-agent
ssh-server与ssh-agentUbuntu 桌面版默认没有安装 ssh-serverUbuntu server版默认没有安装 ssh-client在集群搭建中,需要集群中全部机器都具有两种服务进程使用命令 ps -e | grep ssh 可以查看ssh服务的运行情况,显示效果分别为:wj@ubuntu:~/apps/spark-2.2.0-bin-hadoop2.7/sbin...原创 2018-11-14 11:59:19 · 1356 阅读 · 0 评论 -
Linux下MPI环境的安装配置
Linux下MPI环境的安装配置1、下载MPI安装包下载地址:http://www.mpich.org/downloads/2、安装包解压tar -zxvf mpich-x.x.x.tgz3、在编译mpicc包之前,一般情况下均需要安装fortran的编译器,mpi目前支持c,c++,fortran需要安装的编译器为:C,C++,F77,F90sudo apt-get instal...原创 2019-02-19 15:19:41 · 3421 阅读 · 1 评论 -
Ubuntu搭建FTP服务
Ubuntu搭建FTP服务版本:ubuntu 18.04FTP搭建过程准备工作1、创建FTP对应的目录root@ubuntu:/home/wj# mkdir ftp2、进入ftp目录,创建目录anonymous,用来存放用户上传的文件,并修改目录的权限。同时创建文件test.txt用于测试下载功能root@ubuntu:/home/wj# cd ftproot@ubuntu:...原创 2019-03-06 14:02:50 · 213 阅读 · 0 评论 -
Linux 后台执行命令:&和nohup
背景当我们在终端或控制台工作时,可能不希望由于运行一个作业而占住了屏幕,因为可能还有更重要的事情要做,比如阅读电子邮件。对于密集访问磁盘的进程,我们更希望它能够在每天的非负荷高峰时间段运行(例如凌晨)。为了使这些进程能够在后台运行,也就是说不在终端屏幕上运行,有几种选择方法可供使用。&当在前台运行某个作业时,终端被该作业占据;可以在命令后面加上& 实现后台运行。例如:sh ...原创 2019-03-28 16:22:43 · 244 阅读 · 0 评论 -
tar压缩与解压缩命令详解
tar命令详解-c: 建立压缩档案-x:解压-t:查看内容-r:向压缩归档文件末尾追加文件-u:更新原压缩包中的文件这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z:有gzip属性的-j:有bz2属性的-Z:有compress属性的-v:显示所有过程-O:将文件解开到标准输出参数-f是必须...转载 2019-03-28 16:31:55 · 474 阅读 · 0 评论 -
C++ Shell Pyton中的sleep
sleep在代码中,特别是脚本中,经常需要等待一段时间之后再继续执行,需要用到sleep相关的函数,在这里对sleep做一个总结,持续更新!C++标准库中无该函数,但在某些编译系统中有,在有些系统库中有,要根据你那边的环境而定。在windows操作系统下:Sleep要大写,单位为毫秒,需要包含系统头文件#include<iostream>#include<wind...原创 2019-03-28 16:46:44 · 230 阅读 · 0 评论 -
linux工具--crontab定时任务
一个很不错的学习linux基础的网站https://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/crontab.htmlcrontab通过crontab 命令,我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工...转载 2019-03-28 18:27:12 · 121 阅读 · 0 评论 -
git push时出现 Username for 'https://github.com'
git push时出现 Username for ‘https://github.com’使用git push origin master是出现如下问题:Username for 'https://github.com'解决办法:git remote set-url origin git+ssh://git@github.com/username/reponame.git例:git...原创 2019-04-18 21:49:51 · 1954 阅读 · 0 评论 -
shell 基本用法
shell命令基本用法set +e 如果脚本运行过程中出现错误,报错但是不终止脚本。set -e 如果脚本运行过程中出现错误,则立即终止脚本。basepath=$(cd 'dirname $0';pwd) 在命令状态下,返回的是当前路径。在脚本文件上,返回这个脚本文件放置的目录,并根据这个目录来定位所要运行程序的相对位置(绝对位置除外)。以下:if [ $? -ne 0 ]; then...原创 2019-04-19 15:27:14 · 638 阅读 · 0 评论 -
awk命令(AWK程序设计语言)
awk命令(有自己的语言:AWK程序设计语言)**awk是行处理器:**相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息。**awk处理过程:**依次对每一行进行处理,然后输出。通常,awk是以文件的一行为处理单位的。awk每接收文件的一行,然后执行相应的命令,来处理文本。使用模式: awk '{pattern + action}' {fil...原创 2019-04-19 15:31:04 · 785 阅读 · 0 评论 -
Ubuntu18.04上安装sublime text 3
Ubuntu18.04上安装sublime text 3首先,打开谷歌进行搜索,马上便找到了一篇:看起来既简单又完整,真的是很开心,然后就开始安装了执行第一条命令:出问题了,看情况应该是没下载下来,多半是被墙了,于是在浏览器中手动下载了:sublimehq-pub.gpg然后很容易就发现是需要通过后面的命令向系统添加这个文件,于是,继续执行第二条命令,更新源,然后执行第三条命令...原创 2018-10-15 20:53:11 · 4327 阅读 · 0 评论