风行天下

hadoop 网络游戏 探索

Redhat 停止sendmail的方法

[jifeng@feng01 ~]$ /sbin/chkconfig --list sendmail sendmail 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭 [jifeng@feng01 ~]$ /sbin/chkconfig --leve...

2014-08-30 22:47:00

阅读数:1147

评论数:0

cat access.2012010.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5

[jifeng@jifeng01 hadoop]$ cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5 210.51.2...

2014-08-30 15:43:44

阅读数:3165

评论数:0

centos 查看版本

有以下命令可以查看: # lsb_release -a LSB Version:    :core-3.1-ia32:core-3.1-noarch:graphics-3.1-ia32:graphics-3.1-noarch Distributor ID: CentOS Descrip...

2014-08-27 14:42:19

阅读数:706

评论数:0

mahout安装测试

Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头,目前已经有了三个公共发行版本。Mahout包含...

2014-08-26 18:02:16

阅读数:8634

评论数:1

Win系统下用Eclipse中运行远程hadoop MapReduce程序出现Permission denied错误

八月 23, 2014 9:12:31 下午 org.apache.hadoop.util.NativeCodeLoader WARNING: Unable to load native-hadoop library for your platform... using builtin-java...

2014-08-23 22:39:56

阅读数:6082

评论数:0

编译hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar

1.下载后hadoop-1.1.2.tar.gz文件,里面包含源代码,并解压到E:\hadoop\hadoop-1.2.1 2.

2014-08-22 17:08:51

阅读数:9852

评论数:2

scp错误 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!

执行scp或ssh- [jifeng@jifeng01 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub jifeng@jifeng03 28 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ ...

2014-08-22 11:02:09

阅读数:5733

评论数:0

awk进行文本处理

1 awk的内置变量 awk 所内建的字段变量及其涵意如下 : 字段变量 含义 $0 一字符串, 其内容为目前 awk 所读入的数据行. $1 $0 上第一个字段的数据. $2 ...

2014-08-21 19:04:57

阅读数:894

评论数:0

Mysql 查询所有表的行数和大小

SELECT TABLE_NAME,TABLE_ROWS,DATA_LENGTH/1024/1024 "DATA_LENGTH",CREATE_TIME,TABLE_COLLATION FROM  INFORMATION_SCHEMA.TABLES WHERE TABLE_S...

2014-08-21 13:38:36

阅读数:16302

评论数:2

hive 简单操作搜狗实验室的词频文件

1:下载搜狗实验室的词频文件  http://www.sogou.com/labs/dl/w.html

2014-08-21 11:46:45

阅读数:2408

评论数:0

MapReduce实现join操作

前阵子把MapReduce实现join操作的算法设想清楚了,但一直没有在代码层面落地。今天终于费了些功夫把整个流程走了一遭,期间经历了诸多麻烦并最终得以将其一一搞定,再次深切体会到,什么叫从计算模型到算法实现还有很多路要走。 数据准备 首先是准备好数据。这个倒已经是一个熟练的过...

2014-08-19 16:51:36

阅读数:942

评论数:0

hive join测试

hive> create table course(id int,c1 string,c2 string,c3 string,c4 string)row format delimited fields terminated by ' '; OK Time taken: 0.07 second...

2014-08-19 16:26:44

阅读数:1697

评论数:0

VisualBox中增大linux硬盘空间的方法

1:在VisualBox的安装目录中 VBoxManage.exe modifyhd e:\os\RedHat5.6.vdi --resize 20000

2014-08-18 16:16:53

阅读数:1630

评论数:0

Sqoop 1.99.3 & hadoop-1.2.1 安装配置

1:解压 [jifeng@jifeng01 ~]$ tar zxf sqoop-1.99.3-bin-hadoop100.tar.gz [jifeng@jifeng01 ~]$ ls apache-ant-1.9.4 hbase-0.94.21.tar.gz ...

2014-08-17 22:25:49

阅读数:5609

评论数:2

Java 的插件框架 PF4J

PF4J 是一个 Java 的插件框架,为第三方提供应用扩展的渠道。使用 PF4J 你可以轻松将一个普通的 Java 应用转成一个模块化的应用。PF4J 本身非常轻量级,只有 50KB 左右,目前只依赖了 slf4j。Gitblit 项目使用的就是 PF4J 进行插件管理。 Mave...

2014-08-17 20:12:38

阅读数:4456

评论数:0

hive 简单操作和错误

[jifeng@jifeng02 ~]$ hive Logging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-l...

2014-08-17 15:50:51

阅读数:4593

评论数:0

Hive学习和配置Mysql

1.Hive简介  起源自facebook由Jeff Hammerbacher领导的团队  构建在Hadoop上的数据仓库框架  设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据  2008年facebook把hive项目贡献给Apache  Hiv...

2014-08-17 12:11:14

阅读数:4499

评论数:0

Hive 0.12.0安装配置

1:解压 tar zxf hive-0.12.0-bin.tar.gz mv hive-0.12.0-bin hadoop 移动到hadoop目录 2:配置环境变量 [jifeng@jifeng02 hive-0.12.0-bin]$ cat ../../.bash_profile ...

2014-08-17 10:47:47

阅读数:1841

评论数:0

Pig 0.12.1安装和使用

1 :安装 解压,配置环境变量,验证 pig安装是否成功 [jifeng@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [jifeng@jifeng02 ~]$ vi .bash_profile # .bash_profile # Get the alias...

2014-08-16 23:09:34

阅读数:1492

评论数:0

HBase 0.94.21 zookeeper-3.4.6 分布式安装

1:配置hosts和ssh无密码登陆 2:配置hbase

2014-08-16 16:53:06

阅读数:2106

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭