shell队列实现线程并发控制(转)

需求:并发检测1000台web服务器状态(或者并发为1000台web服务器分发文件等)如何用shell实现?       方案一:(这应该是大多数人都第一时间想到的方法吧) 思路:一个for循环1000次,顺序执行1000次任务。 实现:       #!/bin/bash sta...

2019-01-13 14:13:46

阅读数 38

评论数 0

压缩与解压缩

zip命令可以用来将文件压缩成为常用的zip格式。unzip命令则用来解压缩zip文件。 1. 我想把一个文件abc.txt和一个目录dir1压缩成为yasuo.zip: # zip -r yasuo.zip abc.txt dir1 2.我下载了一个yasuo.zip文件,想解压缩: #...

2018-11-18 18:52:04

阅读数 51

评论数 0

hive表操作

Use dbname;   //库名 Show tables;   //查看所有的表 Show partitions 表名;   //查看分区 dt select * from dbName.tableName where id=6784500 and dt='2018-07-24';   ...

2018-11-18 16:48:29

阅读数 32

评论数 0

expect脚本

查看是否安装了expect rpm  -qa|grep expect   Expect是一个用来处理交互的命令。借助Expect,我们可以将交互过程写在一个脚本上,使之自动化完成。形象的说,ssh登录,ftp登录等都符合交互的定义。 1、send命令 send命令接收一个字符串参数,并将...

2018-11-18 16:40:32

阅读数 32

评论数 0

debug模式调试程序

1、建立一个debug文件,进入文件,执行:cmake -DCMAKE_BUILD_TYPE=Debug .. 2、make –j10 //生成二进制文件 3、先执行: ulimit -c unlimited  ,再sh run.sh 4、 gdb bin(promotion_tag) co...

2018-11-18 16:38:54

阅读数 46

评论数 0

date命令时间戳和时间之间的转换

time(NULL):返回从1970年1.1日(元旦)午夜0点到现在的秒数 实际时间 这里是在mac下的操作,主要就是用date这个命令,更多的用法用man命令查看 字符串格式时间 TO 时间戳 我们知道date 命令可以直接把当前时间转化为时间戳 # date +%s 1436781527...

2018-11-18 16:32:19

阅读数 660

评论数 0

CMakeLists文件的编写

一、CMake使用惯例 1)在项目根目录建立一个build目录:mkdir build && cd build 2)执行:cmake ../ 3)确定生成Makefile成功,执行make 二、一个简单的例子 假设当前的目录为test 1...

2018-11-18 16:17:20

阅读数 64

评论数 0

浅谈搜索引擎技术原理与架构

转载自:https://www.cnblogs.com/faruxue/p/4932009.html   搜索引擎是我们非常熟悉的互联网产品,上网都离不开搜索,毫无疑问,在pc端,是多数流量的入口。大家都会说,“有问题,百度一下”,当初百度靠这句广告语,打开了国内很大的市场。   曾经看过...

2018-11-18 16:02:33

阅读数 43

评论数 0

hiredis的使用

1、redis存取二进制数据  redisCommandArgv接口是二进制安全的,我们可以用此接口实现对二进制的存取。对于多参数传递,hiredis提供了以下接口,这个接口中最后一个参数是所有的传入数据的内容长度,就是说这个借口是二进制安全的。 Void *reidsCommandArgv(...

2018-08-05 12:55:20

阅读数 204

评论数 0

多线程

1、多线程     对于windows系统来说,进程的开销很大,windows多线程的重点是面对资源争抢与同步方面的问题。对于linux系统来说,进程的开销很小,重点是进程之间的通讯方法。     多线程就是多个线程一起去协同完成一个任务,通过充分去共享资源来达到提升效率的一种编程思想。但这个...

2018-08-05 12:53:42

阅读数 28

评论数 0

C++基础知识

1、智能指针     智能指针实际上是一个栈对象,并非指针类型,在栈对象生命期即将结束时,智能指针通过析构函数释放由它管理的堆内存。所有智能指针都重载了“operator->”操作符,直接返回对象的引用,用以操作对象。访问智能指针包含的裸指针则可以用get()函数。由于智能...

2018-08-05 12:50:13

阅读数 31

评论数 0

Kafka相关知识

1)producer:消息生产者,发布消息到kafka集群的终端或服务 2)broker:kafaka集群中包含的服务器 3)topic:每条发布到kafka集群的消息属于的类别,即kafka是面向topic的 4)partition:每个topic包含一个或者多个partition,kaf...

2018-08-05 12:47:24

阅读数 64

评论数 0

Kappa系数

Kappa系数用于一致性检验 也可以用于衡量分类精度 kappa系数的计算是基于混淆矩阵的 kappa计算结果为-1~1,但通常kappa是落在 0~1 间,可分为五组来表示不同级别的一致性:0.0~0.20极低的一致性(slight)、0.21~0.40一般的一致性(fai...

2018-02-26 09:42:51

阅读数 1395

评论数 0

均值与中值滤波器

1、均值滤波器     邻域平均法是一种局部空间域处理的算法。设一幅图像肺f(x,y)为N*N的阵列,处理后的图像为g(x,y),它的每个像素的灰度级由包含(x,y)邻域的几个像素的灰度级的平均值所决定。图像邻域平均法的处理效果与所用的邻域半径有关。半径越大,则图像的模糊程度也就越大。另外,图像...

2018-02-25 09:20:08

阅读数 596

评论数 0

图像处理中掩膜(mask)的意义

刚开始涉及到图像处理的时候,在opencv等库中总会看到mask这么一个参数,非常的不理解,在查询一系列资料之后,写下它们,以供翻阅。  什么是掩膜(mask)  数字图像处理中的掩膜的概念是借鉴于PCB制版的过程,在半导体制造中,许多芯片工艺步骤采用光刻技术,用于这些步骤的图形“底片”称为掩...

2018-02-25 08:27:43

阅读数 1460

评论数 0

深度学习之卷积神经网络CNN及tensorflow代码实现示例

一、CNN的引入 在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时,这时全连接网络需要训练的参数就会增大很多,计算速度就会变得很慢,例如一张黑白的 28×28 的手写数字图片,输入层的神经元就有784个,如下图所示:    ...

2018-02-24 09:04:16

阅读数 88

评论数 0

图像分割结果的评估

我们在用一个算法对一幅图像进行分割之后,总会面临这样一个问题,分割的结果到底好不好。用眼睛可以看出好坏,但这只是主观的好坏,如何量化的对分割的结果进行评价呢,这是这篇文章我要讨论的主题。   我查阅过很多方法,包括ROC曲线,Dice重合率等等,要么是我理解不好,要么是难以实现。下面的...

2018-02-23 16:24:36

阅读数 1710

评论数 0

hash表的构造方法和解决冲突的方法

哈希表是种数据结构,它可以提供快速的插入操作和查找操作。第一次接触哈希表时,它的优点多得让人难以置信。不论哈希表中有多少数据,插入和删除(有时包括侧除)只需要接近常量的时间即0(1)的时间级。实际上,这只需要几条机器指令。   对哈希表的使用者一一人来说,这是一瞬间的事。哈希表运算得非常快,...

2018-02-01 15:53:59

阅读数 66

评论数 0

Java中关于内存泄漏出现的原因汇总及如何避免内存泄漏(超详细版)

Android 内存泄漏总结 内存管理的目的就是让我们在开发中怎么有效的避免我们的应用出现内存泄漏的问题。内存泄漏大家都不陌生了,简单粗俗的讲,就是该被释放的对象没有释放,一直被某个或某些实例所持有却不再被使用导致 GC 不能回收。最近自己阅读了大量相关的文档资料,打算做个 总结 沉淀下来跟大家...

2018-02-01 14:28:27

阅读数 69

评论数 0

epoll与select,poll的区别

select,poll都可以来实现并发 (select限制) 1,一个进程所能打开的最大文件描述符的个数是有限的 2,select中集合的限制(fd_set)FD_SETSIZE 3,select每一次跟客户端连接的过程就会陷入内核,    并且是以轮寻的方式查找的 ...

2018-02-01 14:26:55

阅读数 87

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭