DevOps
播种生活
热爱技术,热爱生活
展开
-
使用ping测试MTU值
MTU:MTU是Maximum Transmission Unit的缩写;意思是网络上传送的最大数据包。MTU的单位是字节。大部分网络设备的MTU都是1500。把本机的MTU设成比网关的MTU小或相同,就可以减少丢包。如果本机的MTU比网关的MTU大,大的数据包就会被拆开来传送,这样会产生很多数据包碎片,增加丢包率;如果检测到网关的MTU值是1500,从1400到1472之间多试几次,就能原创 2014-04-03 14:34:17 · 15233 阅读 · 2 评论 -
永久修改redhat的default route
1,可以用route命令临时修改:route add default gw 2, 通过修改/etc/sysconfig/network 文件永久修改:脚本:#!/bin/sh#configure default gw# $1 is ip of gatewaydefgw=$1sed -i "s/NETWORKING.*/NETWORKING=yes/" /et原创 2014-05-06 16:09:54 · 1800 阅读 · 0 评论 -
dd与cp的区别
问:看了一些关于dd和cp的命令,但是我始终无法明白dd和cp之间有什么不同?不是都可以看成是备份的作用么?还有什么区别呢?答:1、dd是对块进行操作的,cp是对文件操作的。2、比如有兩塊硬盤,要將第一個硬盤裏的數據複製到第二個硬盤上dd if=/dev/hda of=/dev/hdc bs=4 count=1024bs每次複製的塊大小count要複製的次數转载 2014-05-06 17:14:29 · 799 阅读 · 0 评论 -
使用putty进行ssh tunnel远程内网机器
通常我们通过登录具有外网ip的远程机器来连接内网的机器;本文介绍,通过putty进行ssh tunnel,进而达到使用本机直接连接远程内网机器;1,在putty中创建一个session,输入具有外网ip的node信息:2,在connection下面找到SSH,打开SSH点击tunnel输入source port,source port是你想在本机使用的端口,destination是远程原创 2014-05-06 17:32:24 · 6452 阅读 · 0 评论 -
DevOps-chef的多节点环境搭建
转载自:-wkq5325-ChinaUnix博客前言:前段时间一直想试验一下DevOps的一些配置管理工具,后来因为某些原因,就重点研究了chef。以自己的机器搭建了一个典型的多节点实验环境。架构:根据官方的chef的架构介绍,主要包括三大部分,1. chef-server2. chef workstation3. chef-node转载 2014-03-24 22:16:55 · 866 阅读 · 0 评论 -
mapreduce--如何设置reducer的个数
1,在缺省情况下,一个mapreduce的job只有一个reducer;在大型集群中,需要使用许多reducer,中间数据都会放到一个reducer中处理,如果reducer数量不够,会成为计算瓶颈。2,reducer的最优个数与集群中可用的reducer的任务槽数相关,一般设置比总槽数稍微少一些的reducer数量;hadoop文档中推荐了两个公式:0.95*NUMBER_OF_NODE原创 2014-04-06 22:28:36 · 4112 阅读 · 0 评论 -
hadoop的成员项目简介
Pig:Hadoop的客户端;Pig Latin类似sql的面向数据流的语言;pig可以把pig latin映射为mapreduce作业上传到集群运行,减少用户编写java的程序;三种运行方式:shell,脚本,嵌入式Zookeeper:Google Chubby的开源实现;通信协调软件;例如,防止单点失效、处理负载均衡、确认消息是否准确到达;hbase中数据节点之间协原创 2014-03-26 21:52:25 · 586 阅读 · 0 评论 -
实施hadoop大集群(一)
本文从云计算的实际项目中总结,具有很好的参考价值;1,hadoop大集群的设备选取:普通pc就可以了,硬盘足够大,多块硬盘就可以;CPU只要四核以上;专门的存储是不需要的;实施hadoop集群的指导思想,我们用廉价的PC集群来代替高大上的小型机和存储;2,用虚拟机部署,设备需要从下面指标考量如果用虚拟机部署的话,内存要足够大,如果机器有很多CPU,利用虚拟机可以充分利用CPU的效率原创 2014-03-26 13:37:16 · 585 阅读 · 0 评论 -
linux 前台后台运行job管理
1, 查jobs:hadoop11:/usr/lib/hive # jobs[1]+ Running nohup hive --service hiveserver -p 10000 & (wd: /usr/lib/hadoop-0.20.2/bin)hadoop11:/usr/lib/hive # jobs -l[1]+ 5813 Runni原创 2014-04-13 12:56:53 · 2208 阅读 · 0 评论