- 博客(26)
- 收藏
- 关注
RSS订阅原创 hadoop 0.20 程式開發
hadoop 0.20 程式開發 eclipse plugin + Makefile 零. 前言 ¶開發hadoop 需要用到許多的物件導向語法，包括繼承關係、介面類別，而且需要匯入正確的classpath，否則寫hadoop程式只是打字練習...用類 vim 來處理這種複雜的程式，有可能會變成一場惡夢，因此用eclipse開發，搭配mapreduc...
2010-11-30 17:15:37
87
原创 hive报Invalid maximum heap size: -Xmx4096m错误解决方法
mongodb@krusiting-laptop:~/hive-0.6.0$ bin/hiveInvalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable size.Could not create the Java virtual machine...
2010-11-29 10:25:50
620
原创 source命令用法
source命令用法：source FileName作用:在当前bash环境下读取并执行FileName中的命令。注：该命令通常用命令“.”来替代。如：source .bash_rc 与 . .bash_rc 是等效的。 source /etc/profile //在不重启的情况下重新加载profile。...
2010-11-25 21:08:06
144
原创 Hadoop的运行痕迹
在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以通过这些痕迹来解决问题。一、环境的搭建为了能够跟踪这些运行的痕迹，我们需要搭建一个特殊的环境，从而可以一步步的查看上一节提到的一些关键步骤所引起的变化。我们首先搭建一个拥有一个Name...
2010-11-25 21:05:15
96
原创 Hive Installation and Configuration
http://wiki.apache.org/hadoop/Hive/GettingStarted#Installation_and_Configuration
2010-11-25 20:13:10
85
原创 新版本ant无法运行
在centos上安装了新版本的ant，但系统依然运行旧版本（在新版本的bin目录下也一样），新版本无法运行解决：在/etc/profile 中添加：ANT_HOME=/usr/local/apache-ant-1.8.1 PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$PATH export JAVA_HO...
2010-11-25 11:23:58
200
原创 lighttpd优化
优化 1 最大连接数 默认是1024 修改 server.max-fds,大流量网站推荐2048. 因为lighttpd基于线程,而apache(MPM-prefork)基于子进程, 所以apache需要设置startservers,maxclients等,这里不需要...
2010-11-16 19:47:55
126
原创 linux上使用netstat察看mysql端口和连接
linux上使用netstat察看mysql端口和连接近日发现写的一个java程序的数据库连接在大压力下工作不打正常,因此研究了一下dbcp,中间为了查看mysql服务器的数据库连接情况,需要使用netstat来查看端口和连接, 将使用到的命令整理了一下备忘, 这些命令同样可以用于查看其他运用程序的端口和连接情况.netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示...
2010-11-15 17:16:43
107
原创 TCP的状态
TCP A TCP B 1. ESTABLISHED ESTABLISHED (Close) 2. FIN-WAIT-1 --> <SEQ=100><ACK=300><CTL=FIN,ACK> --> CLOSE-WAIT 3. FIN-WAIT-2 <-- <SEQ=300><ACK=101>&l
2010-11-15 16:51:40
109
原创 buffers和cache
在linux下使用free命令查看内存使用情况，有buffers和cached两项，以下是它们的区别： buffers是为块设备设计的缓冲。比如磁盘读写，把分散的写操作集中进行，减少磁盘I/O，从而提高系统性能。比如入U盘里cp一个文件，但是U盘读写指示灯未闪动，过了一会儿才闪动。卸载时会清空缓冲，所以有时卸载一个设备需要等待几秒。 cached是缓存读取过的内容，下次再读时，...
2010-11-12 20:34:25
82
原创 linux crontab定时执行任务
cron是一个linux下的定时执行工具，可以在无需人工干预的情况下运行作业。由于Cron 是Linux的内置服务，但它不自动起来，可以用以下的方法启动、关闭这个服务： /sbin/service crond start //启动服务 /sbin/service crond st...
2010-11-12 20:03:23
85
原创 linux free 参数详解
Mem：表示物理内存统计 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况，第1行 Mem：total：表示物理内存总量。 used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。 free：未被分配的内存。 shared：共享内存，一般系统不会用到，这里也不...
2010-11-12 15:22:45
228
原创 日本动漫常用对话，学会之后，你的日语就会达到“字幕级”！
1.あいてる。 你有空吗？2.あきちゃった。 腻了！3.あけましておめでとう。 新年快乐！4.あげる。 送给你。5.あせらないで。 别着急！6.あたった。 打中了。7.あたりまえのことだ。 应该做的。8.あっ。 啊！9.あった。 有了！10.あつかましい。 厚脸皮！11.あとでまたお電話(でんわ)します。 待会再打给您电话。12.あなたと関係(かんけい)...
2010-11-12 13:24:22
783
原创 测试方法
apache、lighttpd、nginx压力测试。 服务器：130（8核、4G、centos） 客户机：131、132、133客户端测试软件：siege 先用132共130，逐步加大并发用户数，吞吐率应该是一条拱形曲线在最高点（如c=10）改用两台客户机（131和133）每台非别并发为5，比较两次结果。 注意：1.运行时间要足够长以保证服务器带宽被充分占...
2010-11-11 20:00:04
75
原创 dd生成随机大小文件
/dev/zero是Linux提供的一个特殊的字符设备，它的特点是可以永远读该文件，每次读取的结果都是二进制0。下面的命令可以生成一个100M的空镜像文件：dd if=/dev/zero（/dev/random） of=100M.img bs=1M count=100100+0 records in100+0 records out104857600 bytes (105 ...
2010-11-10 21:13:47
1273
原创 siege
Siege -- 压力测试工具 Siege是一个多线程的WEB性能测试工具,被设计成可以让WEB开发人员了解代码在长时间压力下的性能.可以模拟很多用户同时访问WEB服务器,此数量可以自由定义.这就相当于web server被围攻(siege)了.性能指标包括已用时间(elapsed time),总数据传输量(total data transferred),服务器响应时间...
2010-11-10 16:16:27
150
原创 Apache的prefork模式和worker模式
Apache的prefork模式和worker模式prefork模式这个多路处理模块(MPM)实现了一个非线程型的、预派生的web服务器，它的工作方式类似于Apache 1.3。它适合于没有线程安全库，需要避免线程兼容性问题的系统。它是要求将每个请求相互独立的情况下最好的MPM，这样若一个请求出现问题就不会影响到其他请求。这个MPM具有很强的自我调节能力，只需要很少的配置指令调整。最重...
2010-11-08 11:22:11
56
原创 反向代理
出于安全考虑，局域网内的机器访问访问墙外的网站借助于代理服务器进行，如果把局域网外Internet想象成一个巨大的资源库，局域网内的用户要访问这个库里的资源必须统一通过代理服务器进行。反过来，如果局域网向Internet提供资源，让Internet上的用户访问局域网内的资源也可以设置成一个代理服务器，只不过与我们常用的代理服务器方向正好相反，所以叫反向代理（Reverse Proxy）。...
2010-11-07 20:49:21
82
原创 apache并发数调整
apache并发数调整 收藏 手头有一个网站在线人数增多，访问时很慢。初步认为是服务器资源不足了，但经反复测试，一旦连接上，不断点击同一个页面上不同的链接，都能迅速打开，这种现象就是说明apache最大连接数已经满了，新的访客只能排队等待有空闲的链接，而如果一旦连接上，在keeyalive的存活时...
2010-11-07 20:03:25
104
原创 apr_socket_recv: Connection reset by peer (104)
apr_socket_recv: Connection reset by peer (104)我是在使用Apache2.2的ab进行测试时遇到的，关联的地方比较比一、Apache2.2的设置 /conf/extra/httpd-default.conf MaxKeepAliveRequests 2000,这个是设置Apache允许最大访问的请求数，默认为100...
2010-11-07 20:02:47
1233
原创 ab（apache benchmark）的并发数限制
使用ab的时候当并发数超过1024就会示出错：windows下提示：apr_pollset_create failed: Invalid argument (22)linux下提示：socket: Too many open files (24)下面是从CSDN转的一篇linux下的解决办法＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ab测...
2010-11-05 17:10:56
1055
原创 php安装模式cgi,fastcgi,php_mod比较
先了解一下普通cgi的工作流程：web server收到用户请求，并把请求提交给cgi程序，cgi程序根据请求提交的参数作相应处理，然后输出标准的html语句返回给web server，web server再返回给客户端，这就是普通cgi的工作原理。从 上面看，cgi所要实现的不过是动态网页而已，这种处理方式的特点就是每接到一个请求，web server都要fork出一个单独的cgi程...
2010-11-05 15:28:11
79
原创 从MPG切割,合并到转换成FLV视频过程中可能遇到的一些问题(主要用到mencoder ffmpeg flvtool2)...
目标:将MPG或AVI等其他格式的视频源进行切割或合并 最终转换成FLV视频文件 并能够在FLVPlayer中播放 可以随意拖放 前进n秒 后退n秒 具体步骤 目前有两个非常出名的视频处理工具 都是在命令行下使用 可以做成批处理命令 相当方便 1. mencoder 著名的视频处理工具 2. f...
2010-11-02 10:19:59
220
原创 使用 PHP 搭建自己的视频点播网站
http://www.ibm.com/developerworks/cn/edu/os-dw-os-php-ondemvideo1.htmlhttp://www.ibm.com/developerworks/cn/edu/os-dw-os-php-ondemvideo2.htmlhttp://www.ibm.com/developerworks/cn/edu/os-dw-os-php-on...
2010-11-01 21:15:59
638
原创 linux下apache+php(fastcgi)web服务器的搭建
本文的编译配置仅限于实现apache+php(FastCGI)的最简单配置，实际编译模块如GD库、mysql模块支持等请自行配置 【编译安装apache】 # tar -zxvf httpd-2.2.15.tar.gz# cd httpd-2.2.15# ./configure \> --prefix=...
2010-11-01 16:34:26
109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人