linux
播种生活
热爱技术,热爱生活
展开
-
使用ping测试MTU值
MTU:MTU是Maximum Transmission Unit的缩写;意思是网络上传送的最大数据包。MTU的单位是字节。大部分网络设备的MTU都是1500。把本机的MTU设成比网关的MTU小或相同,就可以减少丢包。如果本机的MTU比网关的MTU大,大的数据包就会被拆开来传送,这样会产生很多数据包碎片,增加丢包率;如果检测到网关的MTU值是1500,从1400到1472之间多试几次,就能原创 2014-04-03 14:34:17 · 15233 阅读 · 2 评论 -
linux查看服务和端口
例如查看80端口情况:[root@mn1 /]# netstat -tulpn|grep httptcp 0 0 :::80 :::* LISTEN 18318/httpd You have new mail in /var/spool/mail/原创 2014-08-15 17:04:33 · 716 阅读 · 0 评论 -
linux 前台后台运行job管理
1, 查jobs:hadoop11:/usr/lib/hive # jobs[1]+ Running nohup hive --service hiveserver -p 10000 & (wd: /usr/lib/hadoop-0.20.2/bin)hadoop11:/usr/lib/hive # jobs -l[1]+ 5813 Runni原创 2014-04-13 12:56:53 · 2208 阅读 · 0 评论 -
hadoop的成员项目简介
Pig:Hadoop的客户端;Pig Latin类似sql的面向数据流的语言;pig可以把pig latin映射为mapreduce作业上传到集群运行,减少用户编写java的程序;三种运行方式:shell,脚本,嵌入式Zookeeper:Google Chubby的开源实现;通信协调软件;例如,防止单点失效、处理负载均衡、确认消息是否准确到达;hbase中数据节点之间协原创 2014-03-26 21:52:25 · 586 阅读 · 0 评论 -
mapreduce在倒排索引中练习
倒排索引是文件检索系统中常用的数据结构,被广泛应用于全文章搜索引擎。通常情况下,倒排索引由一个单词或词组以及相关的文档列表组成,文档列表中的文档或者是标识文档的ID号,或者是指定文档所在位置的URI;在实际应用中,往往还需要给每个文档加一个权值,用来指出每个文档与搜索内容的相关度;我的例子中,文档内容如下:hadoop11:/home/in/win1 # hadoop fs -ca原创 2014-04-06 15:33:55 · 953 阅读 · 0 评论 -
实施hadoop大集群(一)
本文从云计算的实际项目中总结,具有很好的参考价值;1,hadoop大集群的设备选取:普通pc就可以了,硬盘足够大,多块硬盘就可以;CPU只要四核以上;专门的存储是不需要的;实施hadoop集群的指导思想,我们用廉价的PC集群来代替高大上的小型机和存储;2,用虚拟机部署,设备需要从下面指标考量如果用虚拟机部署的话,内存要足够大,如果机器有很多CPU,利用虚拟机可以充分利用CPU的效率原创 2014-03-26 13:37:16 · 585 阅读 · 0 评论 -
云计算基础概念
1,云计算分类:Iaas-基础设施及服务:从硬件和基础设施架构方面考虑的;通过建立虚拟的计算,存储和数据中心,使得能够对宽带、IO设备、PC、存储等计算机基础设施集中起来,形成一个虚拟的资源池对外提供服务。比如,亚马逊建立的云计算数据中心;Paas-平台及服务:操作系统、数据库系统、应用软件系统等集中起来,对外提供应用系统的软件供应服务;例如,分布式存储、分布式大规模数据管理、分布式编程环原创 2014-03-26 14:30:56 · 584 阅读 · 0 评论 -
mapreduce--如何设置reducer的个数
1,在缺省情况下,一个mapreduce的job只有一个reducer;在大型集群中,需要使用许多reducer,中间数据都会放到一个reducer中处理,如果reducer数量不够,会成为计算瓶颈。2,reducer的最优个数与集群中可用的reducer的任务槽数相关,一般设置比总槽数稍微少一些的reducer数量;hadoop文档中推荐了两个公式:0.95*NUMBER_OF_NODE原创 2014-04-06 22:28:36 · 4112 阅读 · 0 评论 -
使用putty进行ssh tunnel远程内网机器
通常我们通过登录具有外网ip的远程机器来连接内网的机器;本文介绍,通过putty进行ssh tunnel,进而达到使用本机直接连接远程内网机器;1,在putty中创建一个session,输入具有外网ip的node信息:2,在connection下面找到SSH,打开SSH点击tunnel输入source port,source port是你想在本机使用的端口,destination是远程原创 2014-05-06 17:32:24 · 6452 阅读 · 0 评论 -
git commit 提交最新更改
当完成修改代码后,需要提交代码到远程git服务器可以用以下命令:假设有两个版本2.8和master:1,查看目前所在版本git branch2,获取当前最新版本git pull3,把修改好的code文件添加到本地:git add linux_sn_x86_64_sles_vm4,做diff,查看目前是否只有这个文件是被修改的git diff –c原创 2014-03-24 22:05:55 · 744 阅读 · 0 评论 -
linux查看cpu和core数量
cpu和core的信息都在/proc/cpuinfo中:1. 查物理CPU的个数 #cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc -l 2. 查逻辑CPU的个数 #cat /proc/cpuinfo |grep "processor"|wc -l 3. 查CPU的主频 #cat /proc/cpuin原创 2014-03-24 21:54:48 · 2233 阅读 · 0 评论 -
dd与cp的区别
问:看了一些关于dd和cp的命令,但是我始终无法明白dd和cp之间有什么不同?不是都可以看成是备份的作用么?还有什么区别呢?答:1、dd是对块进行操作的,cp是对文件操作的。2、比如有兩塊硬盤,要將第一個硬盤裏的數據複製到第二個硬盤上dd if=/dev/hda of=/dev/hdc bs=4 count=1024bs每次複製的塊大小count要複製的次數转载 2014-05-06 17:14:29 · 799 阅读 · 0 评论 -
永久修改redhat的default route
1,可以用route命令临时修改:route add default gw 2, 通过修改/etc/sysconfig/network 文件永久修改:脚本:#!/bin/sh#configure default gw# $1 is ip of gatewaydefgw=$1sed -i "s/NETWORKING.*/NETWORKING=yes/" /et原创 2014-05-06 16:09:54 · 1800 阅读 · 0 评论 -
hadoop--datanode没有起来的办法
hadoop集群一段时间没有使用了,今天重新format name后,发现datanode进程起不来了;查看data-node的日志, namenode的日志与datanode的日志不一致;检查hdfs/data/current/VERSION 和name/current/VERSION, 发现namespaceID不一致;修改其中任何一个与另一个一致,启动datanode;bin原创 2014-08-17 15:25:53 · 992 阅读 · 0 评论