Linux
dataee
解决方案咨询
大数据处理
系统架构
展开
-
linux下获取某文件的总行数
需求:linux下获取某文件的总行数实现:方案一:echo `cat logfile.txt | wc -l`方案二:more logfile.txt |wc -l 摘自:http://www.xhuojia.com/zhuanlan/2779749052.html...原创 2018-08-29 16:58:10 · 2834 阅读 · 0 评论 -
tar zxvf 什么意思?
一致有小伙伴寻根问底,写个博客不用一一答复了tar linux解压使用的 z:表示 tar 包是被 gzip 压缩过的,所以解压时需要用 gzip 解压( --gzip filter the archive through gzip)x:从 tar 包中把文件提取出来v:显示解压信息verbose list progressf:解压的gz文件路径 非gz的 不用加...2017-03-21 16:18:47 · 528 阅读 · 0 评论 -
nohup后台运行scp,ftp等需要输入密码的命令
背景:服务器后台执行需要输入用户名密码类的命令实现:1.启动命令nohup scp -r -P 1028 root@192.168.1.25:/data/data/1 . >log1.out 2.输入密码3.按Ctrl+z挂起当前进程4.执行bg让挂起的进程继续执行bg5.关闭窗口即可...2015-11-17 15:49:28 · 4970 阅读 · 0 评论 -
yum之指定目录安装和存在软件检查
指定目录安装:yum install --installroot=/data/soft/ftp vsftpd 判断某软件是否存在:rpm -qa mysql2015-11-15 19:29:10 · 163 阅读 · 0 评论 -
linux之svn启动和停止
linux下重启svn实现:ps -ef|grep svnserve 直接kill -9 $pid启动:svnserve -d -r /www/svndata2015-10-22 18:42:55 · 458 阅读 · 0 评论 -
Linux之文件切割
需求:对大文件按照行数切割,切割成固定行大小的文件。实现:基于split操作:split -l 10000 -d linkrmb.com.data linkrmb.com.data参数说明:-l 标示行数-d 标示后缀以数字命名其他:-b 按照大小划分,如果不指定d 那么是字符-a 后缀长度,默认是2...2015-07-09 15:41:25 · 103 阅读 · 0 评论 -
SecureCRT中使用代理
SecureCRT中涉及的代理配置的路径如下:options->global options->firewall->add输入相关信息:Name:自定义随便写Type:选择自己的type类型Parameters:输入相应的代理信息即可如http无验证代理:ParametersHostname or IP:proxy.linkrmb.comPo...2014-09-19 16:54:24 · 369 阅读 · 0 评论 -
linux之ssh端口修改
为了安全要修改linux的ssh端口1.vi /etc/ssh/sshd_config修改 Port 10282.重启服务:service sshd restart 或者 /etc/init.d/sshd restart2015-05-28 18:46:51 · 83 阅读 · 0 评论 -
linux之chmod_dest_before_transfer问题
需求:开通了一个非root权限的用户,在上传文件的时候发现没有权限,然后用root用户chmod权限后上传文件报:chmod_dest_before_transfer:原因:目标文件的权限不一样,需要从新登陆解决方式:退出后从新登陆即可实现 ...2016-04-20 13:51:16 · 182 阅读 · 0 评论 -
linux之创建用户并只赋予某目录的操作权限
需求:新创建一个用户只能操作某一目录实现:useradd -d /home/troot -m troot passwd troot --输入你们的密码gpasswd -a troot root chown -R troot:troot /data/soft/test-tomcatchmod 760 /home/troot ...2016-04-16 11:09:46 · 2918 阅读 · 0 评论 -
linux之网络流量监控
ifstat是一个比较简单的查看网络流量的工具常用的参数如下: -l Enables monitoring of loopback interfaces for which statistics are available. By default, ifstat monitors all non-loopback interfaces that are up. ...2015-05-22 17:03:03 · 203 阅读 · 0 评论 -
linux之curl多参数访问
需求:在linux下基于curl进行url访问,有时候会碰到多参数丢参数的问题,如:url:http://linkrmb.com/search/?kw=%E8%8C%B6%E5%8F%B6&q=good访问命令:curl http://linkrmb.com/search/?kw=%E8%8C%B6%E5%8F%B6&q=good发现仅第一个参数获取到了,...2015-05-08 17:26:14 · 275 阅读 · 0 评论 -
CentOS升级Python2.6到Python2.7并安装pip
0. 依赖安装yum -y updateyum install epel-releaseyum install sqlite-develyum install -y zlib-devel.x86_64yum install -y openssl-devel.x86_64 1. 升级Python系统默认安装的Python是2.6.6的,我们需要升级到Python2...2017-03-21 17:59:19 · 85 阅读 · 0 评论 -
linux之ab安装
需求:压测单独安装ab:指定安装目录方式:yum install --installroot=/data/soft/tools/ab httpd-tools默认安装目录方式:yum install httpd-tools2015-12-24 14:59:08 · 482 阅读 · 0 评论 -
shell查找某字符在文件中出现行数
需求:linux脚本统计某字符串在文件中那行出现实现:more logfile.txt |grep 'headee' -n 摘自:http://www.xhuojia.com/zhuanlan/2755510772.html原创 2018-08-29 16:57:29 · 902 阅读 · 0 评论 -
linux截取指定行数范围内的内容
需求:linux下对文件按照行数进行切割实现:sed -n '10,100p' logfile.txt > lognew.txt 摘自:http://www.xhuojia.com/zhuanlan/1891238847.html原创 2018-08-29 16:56:47 · 2848 阅读 · 0 评论 -
shell之命令行参数传递
需求:shell脚本的命令行传递赋值与参数问题实现:echo "Shell 传递参数实例!";echo "执行的文件名:$0";echo "第一个参数为:$1";echo "第二个参数为:$2";echo "第三个参数为:$3";执行./test.sh www.someabcd.com www.xhuojia.com输出:./testwww.s...原创 2018-07-30 15:17:56 · 681 阅读 · 0 评论 -
shell读取文件内容并进行变量赋值
需求:shell读取文件内容,然后把内容赋值给变量然后进行字符串处理实现:dataline=$(cat /root/data/data.txt)echo $dataline 摘自:http://xhuojia.com/zhuanlan/1832921069.html...原创 2018-07-30 15:08:58 · 10683 阅读 · 0 评论 -
linux之shell遍历目录下所有文件
有时候需要写脚本批量处理数据对某目录进行遍历通知执行相关操作for file in 03/*do if test -f $file then echo $file fi if test -d $file then echo $file fidone ...2018-05-19 13:02:22 · 4911 阅读 · 0 评论 -
sed之递归替换操作
需求:利用sed替换字符串操作实现:借助于grepsed -i "s/28080/18080/g" `grep "28080" -rl /data/conf/pb-test` 把28080替换为18080 在/data/conf/pb-test下查找2018-04-16 16:33:05 · 4404 阅读 · 0 评论 -
linux之jdk安装
环境:jdk-8u161-linux-x64.tar.gzlinux版本: Linux VM_84_102_centos 2.6.32-220.el6.x86_64 #1 SMP Tue Dec 6 19:48:22 GMT 2011 x86_64 x86_64 x86_64 GNU/Linux 操作:s1:解压到/data/soft/tar -zxvf jd...2018-04-04 21:41:40 · 79 阅读 · 0 评论 -
ubuntu在虚拟机下网卡丢失问题解决
Ubuntu版本:ubuntu12.04在服务器启动的时候开机出现waiting for network configuration,然后网卡就挂了解决方法:1.启动后手动找网卡:sudo ifconfig eth0 up如果提示没有那么尝试eth1 直到没有错误信息提升为止2.手动修改配置:sudo vi /etc/network/interfaces把原有...2017-02-21 16:43:53 · 2201 阅读 · 0 评论 -
Virtualbox虚拟Ubuntu共享文件夹设置
1. 设置共享文件夹点击"设备(Devices)" -> 共享文件夹(Shared Folders)菜单,添加一个共享文件夹,选项固定和临时是指该文件夹是否是持久的。共享名可以任取一个自己喜欢的,比如"hadoop",尽量使用英文名称。2. 挂载共享文件夹重新进入虚拟Ubuntu,在命令行终端下输入:sudo mkdir /mnt/sharesudo mount -t...2017-02-17 10:06:50 · 143 阅读 · 0 评论 -
ubuntu下安装VirtualBox增强包
版本信息:ubuntu-12.04.5-server-i3861.安装编译环境,执行如下命令sudo apt-get install build-essential2.挂载映射设备(映射之前先在VirtualBox的“设置”->“存储”选择加载iso)sudo mount /dev/cdrom /mnt/cdrom3.安装:进入cd /mnt/cdrom执行...2017-02-16 21:02:43 · 1709 阅读 · 0 评论 -
ubuntu自定义sourcelist
版本信息:ubuntu-12.04.5-server-i386重新创建一个china.list 放到/etc/opt/sources.list.d/目录下具体文件参见内容,这个测试过了比较全PS:注意系统版本2017-02-16 20:58:25 · 193 阅读 · 0 评论 -
linux之内存查看
查看内存的命令很多,top,cat /proc/meminfo 等如果仅仅是查看内存总量儿不关心进程的话推荐: free -G 如果针对进程那么:cat /proc/pid/statm ...2014-04-13 22:08:11 · 116 阅读 · 0 评论 -
linux下执行jps报process information unavailable
场景:linux下执行jps报process information unavailable 解决方式:ls /tmp/hsperfdata_{username}rm -rf /tmp/hsperfdata_{username}2014-04-11 22:24:47 · 171 阅读 · 0 评论 -
nginx FastCgi启动
Nginx的启动命令 /usr/local/nginx/sbin/nginx Nginx重启 /usr/local/nginx/sbin/nginx -s reload FastCgi启动 spawn-fcgi -a 127.0.0.1 -p 9000 -C 10 -u www-data -f /usr/bin/php-cgi...2012-10-10 21:22:48 · 673 阅读 · 0 评论 -
生成shell脚本删除hadoop中所有Pending的Job
需求:由于job在提交的时候没有指定pool name导致了很多Pending的job,那么这些job需要批量kill掉思路:利用hadoop job -kill jobid,生成shell脚本批量删除。实现:生成shell:hadoop job -list|grep 'NA'|awk '{print "hadoop job -kill " $1}'>killbat...2013-11-19 15:16:28 · 983 阅读 · 0 评论 -
Linux中ls其他用法
Linux中ls通常用来查询显示目录内容,但是有其他的用途我们需要查询某目录下目录 ls -l | grep "^d" #d代表文件的属性我们需要只查询某目录下的文件 ls -l | grep "^-" 其他的还有: l: 表示这是一个符号链接文件,实际上它指向另一个文件。 b、c:分别表示区块设备和其他的外围设备,是特殊类型的文件。 s、p:这些文...2012-09-28 15:07:28 · 130 阅读 · 0 评论 -
linux使用rarlinux去操作rar格式的文件
概述:RAR是一种专利文件格式,用于数据压缩与归档打包,开发者尤金·罗谢尔(Eugene Roshal),所以RAR的全名是:Roshal ARchive。首个公开版本RAR 1.3发布于1993年。背景:一般我们会把文件压缩成zip格式,然后通过unzip去操作,但是有时候格式是rar那么我们需要单独去做处理,这样就需要利用linux rar工具解决方式:下载rar工具(...2013-06-24 10:38:29 · 73 阅读 · 0 评论 -
ab压力测试常用场景
ab是apache自带的一个很好用的压力测试工具。常用的命令如下:ab -n 100 -c 100 url-n:请求次数-c:并发次数结果如下: Concurrency Level: 100Time taken for tests: 0.28327 secondsComplete requests: 100Failed requests:...2012-09-05 10:46:55 · 421 阅读 · 0 评论 -
jps命令详解
jps为java查看java进程的命令行工具。支持远程查看,命令行格式为:jps [ options ] [ hostid ]options 包括如下参数:-q:列出进程号 [ ~]$ jps -q10818134061003119284 -m:列出main方法的参数 [ ~]$ jps -m10818 TaskTracker1...2012-08-15 10:42:24 · 117 阅读 · 0 评论 -
linux cat命令简述
inux的cat命令是为了连接多个文件的内容,如 cat file1 file2 那么会显示file1和file2的内容 cat file1 file2>file3那么会把file1和file2的内容合起来放到file3中 加行号,空行也统计 cat -n file1 空行不统计cat -b file1 ...2013-04-16 22:55:47 · 91 阅读 · 0 评论 -
Linux查看端口占用情况
1.netstatnetstat -anp| grep 8080 psps -aux |grep pid 2.lsoflsof -i:8080 lsof是一个工具需要单独安装2013-04-14 13:49:14 · 82 阅读 · 0 评论 -
linux中比较文件是否相同的方式
1.cmpcmp -s file1 file2echo $? 2.diffdiff file1 file2 输出不同内容3.md5summd5sum file1 file2 如果md5值相同那么可以认为其内容相同2013-04-14 13:43:39 · 1062 阅读 · 0 评论 -
sed之替换操作
通过s命令进行替换把111替换成abc 仅替换每行第一次出现的 # sed 's/111/abc/' test.txt 如果打算整体替换把22替换成abc那么 # sed 's/22/abc/g' test.txt 如果打算替换 22为22abc那么采用& # sed 's/22/&abc/g' test.txt PS:#等同于/转义...2013-04-13 12:06:09 · 135 阅读 · 0 评论 -
sed之删除操作
sed是文本编辑的好帮手,先说下删除操作吧创建测试文件 cat >>test.txt11111111111111111112222222222222222222333333333333333333344444444444444444445555555555555555555 删除第一行 # sed '1d' test.txt 删除1到3行...2013-04-13 12:02:36 · 694 阅读 · 0 评论 -
linux脚本捡漏(1)
1.linux中如何判断某用户是否存在?用户:test命令:more /etc/passwd |grep test2.linux添加用户相应的操作用户:test命令:切换到能执行的用户比如rootuseradd test passwd test 提示输入usermod -G groupname test3.linux集群命令统一管理有什么好的方式吗?...2013-12-05 18:14:29 · 233 阅读 · 0 评论 -
linux免密钥SSH登陆配置
背景:好多linux系统需要维护,那么就需要配置SSH免密钥登陆,此处涉及双向和单向两种。详情参见 环境:master:192.168.38.45slave:192.168.38.58192.168.38.60 首先配置单向的也就是master到slave的免密钥ssh登陆。 单向配置:1.在master和所有slave上,使用yourname用...2013-12-11 18:22:14 · 153 阅读 · 0 评论