自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

风行天下

hadoop 网络游戏 探索

原创 Redhat 停止sendmail的方法

[jifeng@feng01 ~]$ /sbin/chkconfig --list sendmail sendmail 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭 [jifeng@feng01 ~]$ /sbin/chkconfig --leve...

2014-08-30 22:47:00 1891 0

原创 cat access.2012010.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5

[jifeng@jifeng01 hadoop]$ cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5 ...

2014-08-30 15:43:44 3963 0

转载 centos 查看版本

有以下命令可以查看: # lsb_release -a LSB Version:    :core-3.1-ia32:core-3.1-noarch:graphics-3.1-ia32:graphics-3.1-noarch Distributor ID: CentOS Descrip...

2014-08-27 14:42:19 791 0

原创 mahout安装测试

Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头,目前已经有了三个公共发行版本。Mahout包含...

2014-08-26 18:02:16 10809 1

原创 Win系统下用Eclipse中运行远程hadoop MapReduce程序出现Permission denied错误

八月 23, 2014 9:12:31 下午 org.apache.hadoop.util.NativeCodeLoader WARNING: Unable to load native-hadoop library for your platform... using builtin-java...

2014-08-23 22:39:56 7695 0

原创 编译hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar

1.下载后hadoop-1.1.2.tar.gz文件,里面包含源代码,并解压到E:\hadoop\hadoop-1.2.1 2.

2014-08-22 17:08:51 10252 2

原创 scp错误 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!

执行scp或ssh- [jifeng@jifeng01 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub jifeng@jifeng03 28 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ ...

2014-08-22 11:02:09 6523 0

原创 awk进行文本处理

1 awk的内置变量 awk 所内建的字段变量及其涵意如下 : 字段变量 含义 $0 一字符串, 其内容为目前 awk 所读入的数据行. $1 $0 上第一个字段的数据. $2 ...

2014-08-21 19:04:57 1052 0

原创 Mysql 查询所有表的行数和大小

SELECT TABLE_NAME,TABLE_ROWS,DATA_LENGTH/1024/1024 "DATA_LENGTH",CREATE_TIME,TABLE_COLLATION FROM  INFORMATION_SCHEMA.TABLES WHERE TABLE_S...

2014-08-21 13:38:36 19189 2

原创 hive 简单操作搜狗实验室的词频文件

1:下载搜狗实验室的词频文件  http://www.sogou.com/labs/dl/w.html

2014-08-21 11:46:45 2942 0

转载 MapReduce实现join操作

前阵子把MapReduce实现join操作的算法设想清楚了,但一直没有在代码层面落地。今天终于费了些功夫把整个流程走了一遭,期间经历了诸多麻烦并最终得以将其一一搞定,再次深切体会到,什么叫从计算模型到算法实现还有很多路要走。 数据准备 首先是准备好数据。这个倒已经是一个熟练的过...

2014-08-19 16:51:36 993 0

原创 hive join测试

hive> create table course(id int,c1 string,c2 string,c3 string,c4 string)row format delimited fields terminated by ' '; OK Time taken: 0...

2014-08-19 16:26:44 1916 0

原创 VisualBox中增大linux硬盘空间的方法

1:在VisualBox的安装目录中 VBoxManage.exe modifyhd e:\os\RedHat5.6.vdi --resize 20000

2014-08-18 16:16:53 1950 0

原创 Sqoop 1.99.3 & hadoop-1.2.1 安装配置

1:解压 [jifeng@jifeng01 ~]$ tar zxf sqoop-1.99.3-bin-hadoop100.tar.gz [jifeng@jifeng01 ~]$ ls apache-ant-1.9.4 hbase-0.94.21.tar.gz ...

2014-08-17 22:25:49 5752 2

原创 Java 的插件框架 PF4J

PF4J 是一个 Java 的插件框架,为第三方提供应用扩展的渠道。使用 PF4J 你可以轻松将一个普通的 Java 应用转成一个模块化的应用。PF4J 本身非常轻量级,只有 50KB 左右,目前只依赖了 slf4j。Gitblit 项目使用的就是 PF4J 进行插件管理。 Mave...

2014-08-17 20:12:38 5687 1

原创 hive 简单操作和错误

[jifeng@jifeng02 ~]$ hive Logging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-l...

2014-08-17 15:50:51 5770 0

原创 Hive学习和配置Mysql

1.Hive简介  起源自facebook由Jeff Hammerbacher领导的团队  构建在Hadoop上的数据仓库框架  设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据  2008年facebook把hive项目贡献给Apache  Hiv...

2014-08-17 12:11:14 4722 0

原创 Hive 0.12.0安装配置

1:解压 tar zxf hive-0.12.0-bin.tar.gz mv hive-0.12.0-bin hadoop 移动到hadoop目录 2:配置环境变量 [jifeng@jifeng02 hive-0.12.0-bin]$ cat ../../.bash_profile ...

2014-08-17 10:47:47 1928 0

原创 Pig 0.12.1安装和使用

1 :安装 解压,配置环境变量,验证 pig安装是否成功 [jifeng@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [jifeng@jifeng02 ~]$ vi .bash_profile # .bash_profile # Get the alias...

2014-08-16 23:09:34 1639 0

原创 HBase 0.94.21 zookeeper-3.4.6 分布式安装

1:配置hosts和ssh无密码登陆 2:配置hbase

2014-08-16 16:53:06 2177 0

转载 map-reduce的八个流程

下面讲解这八个流程  Inputformat——》map——》(combine)——》partition——》copy&merge——》sort——》reduce——》outputformat FileSplit:文件的子集--文件分割体 0. 简介: 这篇文档描述在hadoop中...

2014-08-15 12:32:04 802 0

转载 redis作为hibernate的二级缓存

hibernate的二级缓存有好多,像ehcache。不过项目的缓存使用的是redis,而redis官方没有实现hibernate的二级缓存接口,只得自己实现。看看公司的高手如何做的吧。 先看配置: bean id="entityManagerFactory" c...

2014-08-13 11:02:39 15846 1

原创 memcached安装运行

1. 安装libevent  tar zxvf libevent-2.0.21-stable.tar.gz cd libevent-2.0.21-stable ./configure   make make install --用root用户,否则没权限 2:安装mem...

2014-08-11 00:31:58 1731 0

转载 ActiveMQ的集群与高可用

ActiveMQ的集群与高可用 针对大量的消息吞吐量、对MQ可用性要求非常严格的场景、或者非常复杂的消息处理关系情况下,单个MQ实例通常已经无法满足我们的需要,这时候ActiveMQ的集群和高可用方案就对我们很重要了。 1.client的集群 对消费者来说,使用queue即可做到...

2014-08-10 22:52:15 911 0

原创 ActiveMQ学习

1.JMS介绍      JMS源于企业应用对于消息中间件的需求,使应用程序可以通过消息进行异步处理而互不影响。Sun公司和它的合作伙伴设计的JMS API定义了一组公共的应用程序接口和相应语法,使得Java程序能够和其他消息组件进行通信。JMS有四个组成部分:JMS服务提供者、消息管理对象、消...

2014-08-10 22:49:51 671 0

原创 redis安装,主从集群

下载 $ wget http://download.redis.io/releases/redis-2.8.13.tar.gz jie$ tar xzf redis-2.8.13.tar.gz $ cd redis-2.8.13 $ make

2014-08-10 17:14:18 8559 0

转载 Hadoop中Namenode单点故障的解决方案及详细介绍

正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理:Secondary NN会定期的从NN中读取editlo...

2014-08-08 14:34:06 1253 0

原创 ssh免密码和ssh-copy-id命令

linux系统配置免密码的方式: 1:ssh-keygen -t rsa 生成公钥

2014-08-07 16:47:36 40967 3

原创 centos6.4 使用 HDFS C API

centos6.4 32位 1:配置HADOO

2014-08-06 15:52:36 1672 0

原创 centos6.4安装GCC

Last login: Mon Aug 4 11:46:15 2014 from 10.3.7.128 [jifeng@jifeng04 ~]$ ls hadoop jdk1.7.0_45 jdk-7u45-linux-x64.gz [jifeng@jifeng04 ~]$ gcc --ve...

2014-08-06 14:48:38 7866 0

原创 在centos6.4 编译64位的hadoop 2.4.1

yum install svn yum install autoconfautomake libtool cmake yum install ncurses-devel yum install openssl-devel yum install gcc*

2014-08-01 11:57:12 4226 3

提示
确定要删除当前文章?
取消 删除