- 博客(326)
- 收藏
- 关注
RSS订阅原创 Splitting large files before Rsync transfer
source:split -b500m mylargefiledest:cat x* > MyLargeFilersync -Pavz seedbox:MySecretStuff .
2013-11-07 14:56:49
2054
转载 Zero Copy 简介
Zero Copy 简介Posted on January 10, 2011 by adminlink: http://www.ibm.com/developerworks/library/j-zerocopy/许多web应用都会向用户提供大量的静态内容，这意味着有很多data从硬盘读出之后，会原封不动的通过socket传输给用户。这种操作看起来可能不会怎么消耗CPU，但是
2013-05-14 17:40:49
981
1
转载 /bin/bash^M: bad interpreter: No such file or directory
可以用执行dos2unix 命令转换编码 #dos2unix myshell.sh
2013-05-02 17:34:45
875
转载 PureFTPd 系列中文文档之 README.MySQL ---- 配合MySQL使用 Pure-FTPd
--------------------------------------------------------------------------------中文版声明：本文根据 Pure-FTPd 1.0.18 源代码中的同名英文原文翻译而来（英文原文所在的原代码压缩包可以通过 http://pureftpd.sourceforge.net/ 获得），遵循GPL协议。鼓励复制、传播
2013-04-02 22:14:52
853
转载 关于 "can't identify protocol" 问题的定位
问题定位步骤： 1、 用root帐户 遍历 /proc/进程ID/fd目录，如果该目录下文件数比较大（如果大于10，一般就属于socket泄漏），根据该进程ID，可以确认该进程ID所对应的名称。 2、 重启程序恢复服务，以便后续查找问题。 3、 strace 该程序并记录strace信息。strace –p 进程ID >>/tmp/stracelog.log 2>&1 4、 查看
2013-03-31 18:17:05
1994
转载 python 安装 setuptools Compression requires the (missing) zlib module 的解决方案
creating 'dist/setuptools-0.6c11-py2.7.egg' and adding 'build/bdist.linux-x86_64/egg' to itTraceback (most recent call last): File "setup.py", line 94, in scripts = scripts, File "/usr/l
2013-03-28 16:51:05
1218
1
转载 python MySQLdb安装和使用
MySQLdb是Python连接MySQL的模块，下面介绍一下源码方式安装MySQLdb：首先要下载下载：请到官方网站http://sourceforge.net/projects/mysql-python/或者点击链接下载http://downloads.sourceforge.net/project/mysql-python/mysql-python-test/1.2.3c1/My
2013-03-28 16:50:22
792
转载 Linux寻找和杀掉僵尸进程
linux服务器上，多少会出现一些僵尸进程，下面介绍如何快速寻找和消灭这些僵尸进程的方法首先，我们可以用top命令来查看服务器当前是否有僵尸进程，在下图中可以看到僵尸进程数的提示，如果数字大于0，那么意味着服务器当前存在有僵尸进程下面，我们用ps和grep命令寻找僵尸进程ps -A -ostat,ppid,pid,cmd | grep -e '^[Zz]'命
2013-03-27 14:39:24
907
转载 inotify之文件系统事件监控使用入门
inotify是linux文件系统事件监控机制，功能强大，控制简单，可以实现很多有用的功能。如：当一个文件被访问、打开、关闭、移动、删除等等时做一些处理。此功能需要内核支持，从kernel 2.6.13开始正式并入内核，RHEL5已经支持。查看系统是否支持此功能：[root@demo ~]# ls -l /proc/sys/fs/inotify总计 0-rw-r
2013-03-25 10:34:05
1035
转载 CentOS6.3环境下实战Linux开源流量监控软件Bandwidthd
用bandwidthd在任何一台电脑可以通过web界面用浏览器查看经过网关的各个ip流量,而且是分协议,分颜色显示,已经有直观的图象曲线.在日常维护中, 网管人员最头痛的是内部网经常有人在大量传送文件而导致本来可怜的带宽变得更加缓慢.如果在网关上装上bandwidthd ,就可以追踪的是各个的 IP 的流量，而且可以用图象曲线显示各个ip的相应不同协议显示,还能分时段查看, 例如：包含FT
2013-03-23 22:40:52
1159
转载 python正则表达式之贪婪引发的匹配无法退出，CPU 100%
正则表达式：/+{3}/s{4}COMPANY(.|/s)*-{3}/s{4}END match匹配下面这段字符串可以， +++ COMPANY 2009-06-06 20:54:02 O&M CMD = COMMAND SDFL= 2K --- END +++ COMPANY 2009-06-06 20:54:02 +
2013-03-20 12:31:21
1104
转载 Gene6 ODBC连接外部MySQL数据库验证FTP登录攻略
折腾了一周多，最终把这个该死的Gene6配置起来了，想起来真是坎坷（主要是Gene6的文档太言简意赅了，shit～～～）首先扯谈FTP服务器软件的事情。Linux下FTP服务器如果需要用MySQL作为外部验证源方式很多，有专门的MySQL插件，也可以通过PAM来配置。Windows下Serv-U是老牌，但是及其丑陋！名义上支持通过ODBC连接外部数据库来进行FTP登录验证，但是Serv-U的开
2012-12-31 00:00:06
1289
1
转载 实战在Centos5.3下mod_dosevasive对抗DDos攻击
最近老同事的电子商务网站经常性的对手ab，无奈我花些时间google，发现有不少朋友用mod_dosevasive来对抗ddos攻击(当然是小范围的，如果没有带宽和硬件的保障效果会更好).居体的安装可以参看 关于Apache (httpd)服务器防DDOS模块mod_evasive的使用说明 上面写的够详细了。下面是我的安装过程1.安装apx
2012-12-05 05:17:58
594
原创 2012-11-11 等待阅读列表
42qu github https://github.com/42qu 2012系统架构师大会现场照片及ppt分享http://bbs.chinaunix.net/thread-3771646-1-1.html#442796-tsina-1-78837-c11e49a98ffc44a754ab6c0a7fb5b298PyC
2012-11-11 19:52:34
693
转载 tcpcopy安装及其测试
A:192.168.14.11B:192.168.14.12C:192.168.14.13C向B发起测试，B再复制到A去AB:wget http://tcpcopy.googlecode.com/files/tcpcopy-0.4.0.tar.gztar -zxvf tcpcopy-0.4.0.tar.gzcd tcpcopy-0.4.0./configur
2012-11-08 23:22:11
1236
转载 Linux中通过/proc/stat等文件计算Cpu使用率
Linux平台Cpu使用率的计算proc文件系统/proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为内核与进程提供通信的接口。用户和应用程序可以通过/proc得到系统的信息，并可以改变内核的某些参数。由于系统的信息，如进程，是动态改变的，所以用户或应用程序读取/proc目录中的文件时，proc文件系统是动态从系统内核读出所需信息并提交的。/pro
2012-11-04 21:30:27
652
转载 为什么我们在细节上做不好?
最近团队遇到一个案例。看似很小的事情，但仔细研究起来，彻底分析，每一个环节都没做好，细节部分糟糕得一塌糊涂，最后导致一件事情的结果：完全失败。经常有人在聊起公司的时候问我，你现在最担心的事情有哪些? 我当然会重点提到团队。不过在谈及团队的时候，我又最担心在「细节」问题上做不好。细节就是竞争力，尤其是对小团队来说，小团队更应该注重细节问题。大一点的公司可以追究责任人，靠流程、靠制度，
2012-11-01 22:42:49
623
转载 Gearman分布式远程过程处理框架
对于绝大多数发展中等的web 2.0网站来说，LAMP结构已经不能满足现在的需要了，新的架构组合是GLAMMP,G=Gearman(分布式远程过程处理)，M=Memcached(高性能的分布式的内存对象缓存系统)。简单的说Gearman是PHP实现异步处理利器，当然不仅仅是PHP实现异步处理的手段。Gearman简介Gearman是 Brad Fitzpatrick 的一个作品
2012-10-28 21:38:59
765
转载 windows安装python-ssh访问模块（paramiko）
1、windows平台先安装MinGW(注意需要接入网络) http://sourceforge.net/projects/mingw/files/MinGW/bzip2/2、修改windows的PATH环境变量，加入 {MinGW安装目录}/bin 3、install PyCrypto, 下载地址：http://www.dlit
2012-10-23 13:43:35
781
转载 为什么技术人员普遍都比较难沟通？
本文整理自知乎， 由@developerWorks 推荐。有人提交了一个问题：从事互联网有几年时间，接触到的技术人员大多有以下问题：①、木讷、没礼貌；②、合作做事情不喜欢汇报进度（比如正在做东西，忽然停下不知道干别的什么去了，不催他都不跟你讲）；③、不回QQ，回的话就重现第1点。请问这是普遍问题么？各位技术人如何看待？ 以下是部分精彩回复摘录 一、李
2012-09-12 10:22:00
1065
转载 用Python获取本机网卡IP数据包
这几天用到了raw socket，用python写了些demo程序，这里记录下，也方便我以后查阅。首先我们看一个简单的sniffer程序：#! /usr/bin/python# code for linuximport socket#s = socket.socket(socket.AF_INET, socket.SOCK_RAW, socket.IPPROTO_UDP)
2012-08-31 08:59:33
1624
转载 Linux下proftpd+磁盘配额模块结合mysql的安装
近公司内部需要搭建一个linux下的ftp服务器用来测试，系统自带的ftp功能不是很多，所以在网上找了一下linux下的其他ftp软件，觉得proftpd不错，所以找了相关的教程来看一下，但是发现一个问题容易误导对linux感兴趣的朋友们，因为教程里面没有说明，所以我在此记录下来，让朋友们免走弯路。重要的一个问题就是网络上的教程都提到了“如果你的mysql是自己编译安装的，请如何做........
2012-08-25 19:39:04
1099
转载 为Linux MySQL数据库设置磁盘限额
因为MySQL数据库本身没有磁盘限额的功能，我们可以限制Linux自带的quota工具为mysql进行磁盘限额。1、首先需要为/home自动挂载一个分区，并且设置为quota磁盘格式。我们以用户foo为例，设置foo的磁盘限额。具体如何设置请参考Linux Quota基础教程。2、在foo主目录创建一个存放数据库的dbs目录，并设置此目录的所有权为mysql:foo，权限为3755。
2012-08-25 19:38:08
641
转载 NGINX 健康检查和负载均衡机制分析
nginx 是优秀的反向代理服务器，这里主要讲它的健康检查和负载均衡机制，以及这种机制带来的问题。所谓健康检查，就是当后端出现问题（具体什么叫出现问题，依赖于具体实现，各个实现定义不一样），不再往这个后端分发请求，并且做后续的检查，直到这个后端恢复正常。所谓负载均衡，就是选择后端的方式，如何（根据后端的能力）将请求均衡的分发到后端。此外，当请求某个后端失败时，要将该请求分发到其它后端（redisp
2012-08-24 09:34:54
3867
转载 Paxos在大型系统中常见的应用场景
在分布式算法领域，有个非常重要的算法叫Paxos, 它的重要性有多高呢，Google的Chubby [1]中提到all working protocols for asynchronous consensus we have so far encountered have Paxos at their core.关于Paxos算法的详述在维基百科中有更多介绍，中文版介绍的是ch
2012-08-23 20:32:04
780
转载 ssh连接并获取服务器信息
PerfaceSSH(Secure Shell)是一种安全协议，运作于应用层和传输层，特点是对传输数据进行加密(FTP、Telnet是明文传输)，有效防止信息泄露问题，而且传输的数据是经过压缩的，可以加快传输的速度。最初的SSH协议由一家芬兰公司开发，现在多使用OpenBSD 计划组提供的OpenSSH。在Linux下通常使用SSH都是基于密钥的连接：本机提供用户名、密码连接远程服
2012-08-21 23:04:31
2242
原创 mysqlpcap
mysqlpcapwatch sql base libpcap我们经常的在 MySQL 里不停的执行show processlist想了解最近执行的 sql 语句状况，可常常拿不到我们想要的结果。mysqlpcap 是一个基于 pcap 用于观察 sql 语句执行情况的工具。它能够了解到经过某个 MySQL 实例的 sql 语句以及 sql 影响的行数，还有 sql
2012-08-21 13:19:02
1063
转载 Python参考资料
Python参考资料1. 基本安装http://www.python.org/ 官方标准Python开发包和支持环境，同时也是Python的官方网站；http://www.activestate.com/ 集成多个有用插件的强大非官方版本，特别是针对Windows环境有不少改进；2. Python文档学习资料：Python库参
2012-08-20 14:28:29
1573
转载 ImportError: No module named setuptools 解决方案
shell中输入： wget http://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz tar zxvf setuptools-0.6c11.tar.gz cd setuptools-0.6c11 python setup.py build python setup.py ins
2012-08-16 14:42:36
540
转载 Java哈希冲突拒绝服务漏洞
2012-05-18 17:16:29消息出自:江民科技BUGTRAQ ID: 51236CVE ID: CVE-2011-4838Java是一种可以撰写跨平台应用软件的面向对象的程序设计语言。受影响系统：Sun JDK 1.xSun JRE 1.x描述：--------------------------------------------------
2012-08-14 14:27:12
661
转载 Linux大文件传输
我们经常需要在机器之间传输文件。比如备份，复制数据等等。这个是很常见，也是很简单的。用scp或者rsync就能很好的完成任务。但是如果文件很大，需要占用一些传输时间的时候，怎样又快又好地完成任务就很重要了。在我的测试用例中，一个最佳的方案比最差的方案，性能提高了10倍。复制文件如果我们是复制一个未压缩的文件。这里走如下步骤：压缩数据发送到另外一台机器上数据解
2012-08-12 19:01:33
1040
转载 PHP底层工作原理
简介 先看看下面这个过程：我们从未手动开启过PHP的相关进程，它是随着Apache的启动而运行的；PHP通过mod_php5.so模块和Apache相连（具体说来是SAPI，即服务器应用程序编程接口）；PHP总共有三个模块：内核、Zend引擎、以及扩展层；PHP内核用来处理请求、文件流、错误处理等相关操作；Zend引擎（ZE）用以将源文件转换成机器语言，然后在虚拟机上运行它；扩展层是
2012-08-12 15:30:33
503
转载 高性能计算（High Performance Computing）
综述 高性能计算(High Performance Computing)机群，简称HPC机群。构建高性能计算系统的主要目的就是提高运算速度，要达到每秒万亿次级的计算速度，对系统的处理器、内存带宽、运算方式、系统I/O、存储等方面的要求都十分高，这其中的每一个环节都将直接影响到系统的运算速度。这 HPC类机群主要解决大规模科学问题的计算和海量数据的处理，如科学研究
2012-08-12 00:04:01
2451
转载 RHEL Server 6.2 x86_64
使用默认配置安装 RHEL Server 6.2 x86_64 问题1：如何启动startx图形用户界面要使用startx命令启动X图形，所有要解决问题2.1 执行yum grouplist | grep -i x\ window\执行yum groupinstall X\ Window\ System2 执行yum grouplist | grep
2012-08-08 14:49:17
2090
转载 ImportError: libmysqlclient_r.so.16: cannot open shared object file: No such file or directory
原因是python无法找到mysql目录下的libmysqlclient_r.so.16动态库,其实MySQLdb是调用mysql的c函数库.所以本机上首先得安装了mysql然后: export LD_LIBRARY_PATH=/usr/local/mysql/lib/mysql:$LD_LIBRARY_PATH并且将/usr/local/mysql5.1/lib/mysql 放入/etc
2012-07-28 21:38:32
1975
转载 -bash: pip: command not found
$ curl -O https://raw.github.com/pypa/pip/master/contrib/get-pip.py$ python get-pip.py
2012-07-24 16:52:28
8156
转载 python post文件
file_object = open(RESULT_FILE, 'r') jtlContent = file_object.read() headers = {"Content-type":"multipart/form-data;","Accept": "text/plain"} conn =httplib.HTTPConnection("10.6.20
2012-07-14 23:40:32
910
转载 什么是HTTP Headers？
什么是HTTP HeadersHTTP是“Hypertext Transfer Protocol”的所写，整个万维网都在使用这种协议，几乎你在浏览器里看到的大部分内容都是通过http协议来传输的，比如这篇文章。HTTP Headers是HTTP请求和相应的核心，它承载了关于客户端浏览器，请求页面，服务器等相关的信息。 示例当你在浏览器地址栏里键入一个url，你的浏览器将
2012-07-14 17:38:23
981
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人