shell
mruoli
这个作者很懒,什么都没留下…
展开
-
shell爬虫工具
一.工具 1.wget 2.curl 3.sed 4.awk 5.lynx 6.grep 二.方法 1.lynx -dump URL #获取文本页面 2.grep关键字 3.sed/awk + 正则表达式 取得连接 4.curl取得页面所有信息(分析连接有效性,设置cookie信息) 5.wget下载资源 三.例子,获取gmail未读邮件 #!/bin/bash u原创 2013-04-19 17:19:12 · 1021 阅读 · 0 评论 -
ulimit 相关
使用ulimit -a 可以查看当前系统的所有限制值,使用ulimit -n 可以查看当前的最大打开文件数。 新装的linux默认只有1024,当作负载较大的服务器时,很容易遇到error: too many open files。因此,需要将其改大。 使用 ulimit -n 65535 可即时修改,但重启后就无效了。(注ulimit -SHn 65535 等效转载 2014-07-02 12:45:16 · 499 阅读 · 0 评论