- 博客(31)
- 资源 (32)
- 收藏
- 关注
原创 Redhat 停止sendmail的方法
[jifeng@feng01 ~]$ /sbin/chkconfig --list sendmailsendmail 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭[jifeng@feng01 ~]$ /sbin/chkconfig --level 2345 sendmail off制作 /etc/rc2.d/K30sendmail 的符号链接
2014-08-30 22:47:00 2466
原创 cat access.2012010.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5
[jifeng@jifeng01 hadoop]$ cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5 210.51.237.245 998180.168.213.182 995124.205.50.21 994192.250.4
2014-08-30 15:43:44 4842
转载 centos 查看版本
有以下命令可以查看:# lsb_release -aLSB Version: :core-3.1-ia32:core-3.1-noarch:graphics-3.1-ia32:graphics-3.1-noarchDistributor ID: CentOSDescription: CentOS release 5.4 (Final)Release:
2014-08-27 14:42:19 875
原创 mahout安装测试
Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头,目前已经有了三个公共发行版本。Mahout包含许多实现,包括聚类、分类、推荐过滤、频繁子项挖掘。此外,通过使用 Apache Hadoop 库,Mahout 可以有效地扩展到云中。Mahout 的创始人 Grant Ingersoll 介绍了机器学习的基本概
2014-08-26 18:02:16 15429 1
原创 Win系统下用Eclipse中运行远程hadoop MapReduce程序出现Permission denied错误
八月 23, 2014 9:12:31 下午 org.apache.hadoop.util.NativeCodeLoader WARNING: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable八月 23, 2014 9:12:31 下午 or
2014-08-23 22:39:56 8351
原创 编译hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar
1.下载后hadoop-1.1.2.tar.gz文件,里面包含源代码,并解压到E:\hadoop\hadoop-1.2.12.
2014-08-22 17:08:51 11054 2
原创 scp错误 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
执行scp或ssh-[jifeng@jifeng01 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub jifeng@jifeng0328@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
2014-08-22 11:02:09 7078
原创 awk进行文本处理
1 awk的内置变量awk 所内建的字段变量及其涵意如下 :字段变量含义$0一字符串, 其内容为目前 awk 所读入的数据行.$1$0 上第一个字段的数据.$2$0 上第二个字段的数据....其余类推
2014-08-21 19:04:57 1178
原创 Mysql 查询所有表的行数和大小
SELECT TABLE_NAME,TABLE_ROWS,DATA_LENGTH/1024/1024 "DATA_LENGTH",CREATE_TIME,TABLE_COLLATION FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = 'lir' ORDER BY TABLE_ROWS DESC
2014-08-21 13:38:36 21139 2
转载 MapReduce实现join操作
前阵子把MapReduce实现join操作的算法设想清楚了,但一直没有在代码层面落地。今天终于费了些功夫把整个流程走了一遭,期间经历了诸多麻烦并最终得以将其一一搞定,再次深切体会到,什么叫从计算模型到算法实现还有很多路要走。数据准备首先是准备好数据。这个倒已经是一个熟练的过程,所要做的是把示例数据准备好,记住路径和字段分隔符。准备好下面两张表:(1)m_ys_lab
2014-08-19 16:51:36 1074
原创 hive join测试
hive> create table course(id int,c1 string,c2 string,c3 string,c4 string)row format delimited fields terminated by ' ';OKTime taken: 0.07 secondshive> create table student(id int,name string,age in
2014-08-19 16:26:44 2039
原创 VisualBox中增大linux硬盘空间的方法
1:在VisualBox的安装目录中VBoxManage.exe modifyhd e:\os\RedHat5.6.vdi --resize 20000
2014-08-18 16:16:53 2147
原创 Sqoop 1.99.3 & hadoop-1.2.1 安装配置
1:解压[jifeng@jifeng01 ~]$ tar zxf sqoop-1.99.3-bin-hadoop100.tar.gz [jifeng@jifeng01 ~]$ lsapache-ant-1.9.4 hbase-0.94.21.tar.gz sqoop-1.99.3-bin-hadoop100apache-ant-1.
2014-08-17 22:25:49 5947 2
原创 Java 的插件框架 PF4J
PF4J 是一个 Java 的插件框架,为第三方提供应用扩展的渠道。使用 PF4J 你可以轻松将一个普通的 Java 应用转成一个模块化的应用。PF4J 本身非常轻量级,只有 50KB 左右,目前只依赖了 slf4j。Gitblit 项目使用的就是 PF4J 进行插件管理。Maven:?12345
2014-08-17 20:12:38 6825 1
原创 hive 简单操作和错误
[jifeng@jifeng02 ~]$ hiveLogging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.propertieshive> create database test_hive;OK
2014-08-17 15:50:51 6686
原创 Hive学习和配置Mysql
1.Hive简介 起源自facebook由Jeff Hammerbacher领导的团队 构建在Hadoop上的数据仓库框架 设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据 2008年facebook把hive项目贡献给Apache Hive的组件与体系架构 用户接口:shell, thrift, web等 Thrift服务
2014-08-17 12:11:14 4905
原创 Hive 0.12.0安装配置
1:解压tar zxf hive-0.12.0-bin.tar.gzmv hive-0.12.0-bin hadoop移动到hadoop目录2:配置环境变量[jifeng@jifeng02 hive-0.12.0-bin]$ cat ../../.bash_profile# .bash_profile# Get the aliases and functionsif
2014-08-17 10:47:47 2083
原创 Pig 0.12.1安装和使用
1 :安装解压,配置环境变量,验证 pig安装是否成功[jifeng@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [jifeng@jifeng02 ~]$ vi .bash_profile# .bash_profile# Get the aliases and functions . ~/.bashrcfi# User spe
2014-08-16 23:09:34 1872
转载 map-reduce的八个流程
下面讲解这八个流程 Inputformat——》map——》(combine)——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit:文件的子集--文件分割体0. 简介:这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉,请先参阅Ma
2014-08-15 12:32:04 1007
转载 redis作为hibernate的二级缓存
hibernate的二级缓存有好多,像ehcache。不过项目的缓存使用的是redis,而redis官方没有实现hibernate的二级缓存接口,只得自己实现。看看公司的高手如何做的吧。先看配置: bean id="entityManagerFactory" class="org.springframework.orm.jpa.LocalContainerEntityManager
2014-08-13 11:02:39 17198 1
原创 memcached安装运行
1. 安装libevent tar zxvf libevent-2.0.21-stable.tar.gzcd libevent-2.0.21-stable./configure makemake install --用root用户,否则没权限2:安装memcachedtar zxvf memcached-1.4.5.tar.gzcd memcach
2014-08-11 00:31:58 1864
转载 ActiveMQ的集群与高可用
ActiveMQ的集群与高可用针对大量的消息吞吐量、对MQ可用性要求非常严格的场景、或者非常复杂的消息处理关系情况下,单个MQ实例通常已经无法满足我们的需要,这时候ActiveMQ的集群和高可用方案就对我们很重要了。1.client的集群对消费者来说,使用queue即可做到某种意义上的消费者集群,所有消费者共同处理同一类消息。非持久订阅的topic,这种功能没有实现
2014-08-10 22:52:15 987
原创 ActiveMQ学习
1.JMS介绍 JMS源于企业应用对于消息中间件的需求,使应用程序可以通过消息进行异步处理而互不影响。Sun公司和它的合作伙伴设计的JMS API定义了一组公共的应用程序接口和相应语法,使得Java程序能够和其他消息组件进行通信。JMS有四个组成部分:JMS服务提供者、消息管理对象、消息的生产者消费者和消息本身。 1)JMS服务提供者实现消息队列和通知,同时实现消息管理的API。J
2014-08-10 22:49:51 730
原创 redis安装,主从集群
下载$ wget http://download.redis.io/releases/redis-2.8.13.tar.gzjie$ tar xzf redis-2.8.13.tar.gz$ cd redis-2.8.13$ make
2014-08-10 17:14:18 8984
转载 Hadoop中Namenode单点故障的解决方案及详细介绍
正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。1. Secondary NameNode原理:Secondary NN会定期的从NN中读取editlog,与自己存储的Image进行合并形成新的metadata image优点:Hadoop较早的
2014-08-08 14:34:06 2959 1
原创 centos6.4安装GCC
Last login: Mon Aug 4 11:46:15 2014 from 10.3.7.128[jifeng@jifeng04 ~]$ lshadoop jdk1.7.0_45 jdk-7u45-linux-x64.gz[jifeng@jifeng04 ~]$ gcc --version-bash: gcc: command not found[jifeng@jifeng0
2014-08-06 14:48:38 8487
原创 在centos6.4 编译64位的hadoop 2.4.1
yum install svnyum install autoconfautomake libtool cmakeyum install ncurses-develyum install openssl-develyum install gcc*
2014-08-01 11:57:12 4426 3
hadoop native
2014-08-03
openerp-7.0
2014-07-30
postgresql-9.1.14-1-1
2014-07-30
ImageMagick
2014-02-17
redmine-2.4.3
2014-02-14
subclipse-1.8.22
2013-09-04
hadoop-1.1.2 源代码
2013-07-03
hadoop-1.1.2.tar
2013-07-03
druid-0.2.20
2013-06-29
ActivePerl-5.6.1.635-MSWin32-x86.msi
2010-01-19
用Socket 打造跨语言跨操作系统的网络MORPG游戏
2008-08-03
FLEX+Delphi,FLEX+Java,FLEX+C# 的聊天室
2008-07-18
FLEX+Delphi,FLEX+Java 的聊天室
2008-07-18
中国诗词风
2006-03-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人