2013年11月_stream_tag

原创 linux 下大量TIME_WAIT 的处理

linux 下大量TIME_WAIT 的处理 Linux下高并发的Squid服务器，TCP TIME_WAIT套接字数量经常达到两、三万，服务器很容易被拖死。通过修改Linux内核参数，可以减少服务器的IME_WAIT套接字数量。　　vi /etc/sysctl.conf　　增加以下几行：net.ipv4.tcp_fin_timeout = 30net.ip

2013-11-28 17:07:57 677

原创利用streaming 编写 mapreduce

[root@hadoop-m test]# hadoop jar /hadoop/app/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar -mapper /hadoop/app/hadoop-1.2.1/mapreduce/test/mappehadoop-1.2.1/mapreduce/test/reducer.sh -inp

2013-11-18 14:27:25 880

转载如何使用Python为Hadoop编写一个简单的MapReduce程序

在这个实例中，我将会向大家介绍如何使用Python 为 Hadoop编写一个简单的MapReduce程序。尽管Hadoop 框架是使用Java编写的但是我们仍然需要使用像C++、Python等语言来实现Hadoop程序。尽管Hadoop官方网站给的示例程序是使用Jython编写并打包成Jar文件，这样显然造成了不便，其实，不一定非要这样来实现，我们可以使用Python与Hadoop 关联进

2013-11-07 15:59:00 1572

原创 linux 挂载错误解决mount: cannot mount block device

[root@centos5 ~]# iptables -F INPUT[root@centos5 ~]# iptables -F OUTPUT[root@centos5 ~]# setenforce 0[root@centos5 ~]# mount -t cifs //192.168.1.119/sharefile /var -o username=user%123mount: b

2013-11-07 10:05:47 36207 3

原创 Hadoop计算模型MapReduce及其体系结构

Hadoop计算模型MapReduce及其体系结构1. Hadoop计算模型一个MapReduce 作业(job) 通常会把输入的数据集切分为若干个独立的数据块，由 map任务(task)以完全并行的方式处理它们。框架会先对map的输出进行排序，然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的

2013-11-06 14:16:34 1304

转载 shell远程登录执行脚本

#!/usr/bin/expect set user rootset host 192.168.227.128set password redhatset timeout -lspawn ssh $user@$hostexpect {"yes/no" { send "yes\r";exp_continue }"*password*" { send "$passwo

2013-11-05 13:51:29 1205

转载 shell下脚本实现发送邮件

Shell脚本实现自动发邮件博客分类：脚本编程 1、编辑用户Home目录下的.muttrc文件，设置发信环境。（可不做）Java代码 # cat /root/.muttrc set envelope_from=yes set from=owinux@sina.cn set realname="Owinu

2013-11-05 13:05:04 1263

原创 hadoop-hive安装配置

hadoop-hive安装配置下载hive-0.8.1.tar.gz ---------在ahdoop1.0.0这个版本上要使用这个版本以上把这个文件解压在/hadoop/app目录下1.添加bin/hive-config.sh，添加jdk支持exportJAVA_HOME=/usr/java/jdk1.7.0_02exportHIVE_HOME

2013-11-04 13:11:32 1364

转载修改mysql密码

1．首先确认服务器出于安全的状态，也就是没有人能够任意地连接MySQL数据库。因为在重新设置MySQL的root密码的期间，MySQL数据库完全出于没有密码保护的状态下，其他的用户也可以任意地登录和修改MySQL的信息。可以采用将MySQL对外的端口封闭，并且停止Apache以及所有的用户进程的方法实现服务器的准安全状态。最安全的状态是到服务器的Console上面操作，并且拔掉网线

2013-11-04 11:30:44 787

转载 dos2unix命令用来将DOS格式的文本文件

dos2unix命令用来将DOS格式的文本文件转换成UNIX格式的(DOS/MAC to UNIX text file format converter）。DOS下的文本文件是以\r\n作为断行标志的，表示成十六进制就是0D 0A。而Unix下的文本文件是以\n作为断行标志的，表示成十六进制就是 0A。DOS格式的文本文件在Linux底下，用较低版本的vi打开时行尾会显示^M，

2013-11-04 10:40:21 712

转载使用centos做yum仓库

Redhat默认的源不但速度不给力，而且软件版本陈旧，今天试着将Redhat默认源替换为CentOS的163源，发现速度能达到2M/s左右，而且版本都比较新，非常给力，与大家分享！（目前可以使用CentOS0-6.3软件仓库的软件）1. 删除原有的yum源# rpm -aq | grep yum|xargs rpm -e --nodeps

2013-11-01 14:52:41 890

转载 hadoop 回收站配置

hadoop 回收站配置在需要开启回收站功能的hadoop客户端编辑hdfs-site.xml文件，内容如下：$ cat hdfs-site.xml fs.trash.interval 1440

2013-11-01 11:31:00 1733

狐狸叫