- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 AWK简明教程
有一些网友看了前两天的《Linux下应该知道的技巧》希望我能教教他们用awk和sed，所以，出现了这篇文章。我估计这些80后的年轻朋友可能对awk/sed这类上古神器有点陌生了，所以需要我这个老家伙来炒炒冷饭。况且，AWK是贝尔实验室1977年搞出来的文本出现神器，今年是蛇年，是AWK的本命年，而且年纪和我相仿，所以非常有必要为他写篇文章。之所以叫AWK是因为其取了三位创始人 Alfred
2014-12-26 11:58:12
557
原创 nginx日志每日定时写入Hdfs
#!/bin/bashhadoop_home=/opt/hadoop-2.4.0tw_nginx_home=/var/www/nginx_0cn_nginx_home=/var/www/nginx1current_date=$(date +%Y%m%d)echo "hadoop_home = $hadoop_home"echo "tw_nginx_home = $t
2014-12-17 17:01:05
2688
转载 源码级强力分析hadoop的RPC机制
前言： hadoop RPC（Remote Procedure Call Protocol ，远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。可以参考：http://baike.baidu.com/view/32726.htm ）机制分析的博客一直耽搁了下来。分析对象： hadoop版本：hadoop 0.20.203.0必
2014-12-10 13:59:35
1133
转载 Hadoop MapReduce进阶 使用DataJoin包实现Join
概念：Hadoop有一个叫DataJoin的包为Data Join提供相应的框架。它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的data join技术，我们称其为reduce-side join。（因为我们在reducer上作大多数的工作）reduce-side join引入了一些术语及概念：
2014-12-09 20:10:18
532
转载 用ganglia监控hadoop
ganglia可以通过JMX来监控hadoop，并生成图形。cacti也可以通过插件，利用JMX，用于监控hadoop。只是目前cacti的监控插件很久没有更新，运行起来很困难，需要多处修改。就算运行起来了，还是和现有hadoop相关产品很多指标不一致，所以不适合使用。 ganglia则在hadoop中原生支持。 [zhouhh@h185 conf]$ pwd/home/zho
2014-12-08 11:49:33
1215
转载 hadoop命令介绍
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要格式化，datanode存储目录不需要格式化，启动时自动创建 同一个d
2014-12-08 11:41:00
662
转载 Apache James邮件服务器配置及发送外网邮件
最近公司做的一个项目，用户注册需要邮箱验证，本想调用别人的服务器，调用apache自带的email包实现！但Boos发话，要自己搭建一个邮箱服务器。。。先前使用了winMail，但是收费的，最终不了了之后续又看了sendMail，只不过sendMail是在linux下，而我们的项目是部署在windowss 平台下...最终选定了Apache James，个人认为还算
2014-12-05 18:46:31
5638
转载 java.lang.OutOfMemoryError： unable to create new native thread
工作中碰到过这个问题好几次了，觉得有必要总结一下，所以有了这篇文章，这篇文章分为三个部分：认识问题、分析问题、解决问题。 一、认识问题:首先我们通过下面这个 测试程序 来认识这个问题：运行的环境 （有必要说明一下，不同环境会有不同的结果）：32位 Windows XP，Sun JDK 1.6.0_18， eclipse 3.4，测试程序：Java代码
2014-12-05 13:37:38
1282
转载 Name node is in safe mode
运行hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧（至少我运行的时候是这样的） 那我们来分析下这个错误，从字面上来理解： Name node is in
2014-12-04 15:46:51
574
把该sql文件扔到sql analysis执行即可批量实现用户表的简繁内容转换
2010-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人