- 博客(8)
- 资源 (60)
- 收藏
- 关注
原创 命令行运行Hbase: Session 0x0 for server null, unexpected error
今天又重新看了下hbase的操作,以前虽说是运行过对Hbase的操作,比如直接的建表,导入数据,或者是使用MR操作Hbase,但是都是在单节点上做的,而且是用eclipse下操作的,不用担心一些包的问题。今天打算把代码拷贝到hadoop的lib下面,然后在命令行中运行,下午遇到的一个问题如下:12/09/29 12:29:36 INFO zookeeper.ZooKeeper: Initiat
2012-09-29 16:07:28 12621 2
原创 Hadoop k-means 算法实现
经过昨天的准备工作,今天基本就可以编写整个k-means算法程序了。今天编写的时候遇到了一个问题,是combine操作时遇到的问题。除了这个问题基本都按照原来的思路进行。先说下我的思路吧。准备工作:在上传数据文件到HDFS上之前,先应该产生一个中心文件,比如我的输入文件如下:0.0 0.2 0.40.3 0.2 0.40.4 0.2 0.40.5 0.2 0.45.0 5.2 5.
2012-09-28 14:49:17 16018 54
原创 Hadoop的“全局变量”
以前有做过在Hadoop编写程序时使用全局变量的想法,但是最后却没有实现,上网查才看到说Hadoop不支持全局变量。但是有时候编程的时候又会用到,比如编写k-means算法的时候,如果可以有个全局变量存储中心点该多好呀。其实在hadoop中确实是有相关的实现的,比如可以在mapper中的setup函数中读取一个小文件,然后从这个文件中取出全局变量的值。那具体如何实现呢?首先提出一个问题,然后利
2012-09-27 16:29:50 4043 4
原创 Hadoop Combiner 操作
近期看了一本书:Data-intensive Text Processing with MapReduce,是讲如何设计MR程序的,看到一个例子是Combiner的设计模式,然后就动手实现了下。具体问题如下:现有输入数据如下:one 3.9one 4.0one 3.8two 44two 44two 44three 9898four 2323four 2323five 23
2012-09-22 16:18:32 2842
原创 ShellBasedUnixGroupsMapping: got exception trying to get groups for user webuser
昨天好不容易把集群搞起来了,今天运行一个程序却在logs里出现这样的错误,让我无比的纠结呀:在终端中显示为:logs中的部分提示为:2012-09-13 11:29:40,780 WARN org.apache.hadoop.security.ShellBasedUnixGroupsMapping: got exception trying to get groups for user
2012-09-13 17:24:53 8202 1
原创 Hadoop1.0.3 集群配置
今天做了一下hadoop集群的相关配置,搞了半天才搞定,中间遇到了大概两个问题。先说基本配置吧:1、下载jdk、hadoop安装文件,最好下载 *.tar.gz文件,这样直接解压就可以了,配置路径主要是在/etc/profile中配置,配置完成后,使用 source /etc/profile使配置生效;比如我有三个主机,一个master,两个slaves,那么首先我在三台机上都配置好jdk
2012-09-12 17:32:14 2612
原创 MapReduce聚合
mapreduce的核心思想就是:map读入一条记录,然后重置其key 、value;reduce针对map的同一条key,把其values整合,然后重新输出key、value;这两天做mapreduce时,忽然有种想法:针对一行记录,是否有输出多行记录,包含有不同到key,value,的情况;这种情况到应用是否有好处呢?假设有这样的一个数据:其中第一列代表用户的标识,第二列代表书籍的
2012-09-07 10:37:32 3047
原创 Mahout连接Mysql以及Mysql的基本操作
这两天又开始看Mahout了,前面看了下 HBase,也都是一些浅尝辄止,因为要面试一个公司,所以就什么都看下。今天看到了用Mysql数据库的数据作为Mahout的输入文件,觉得很高深的样子,所以就试试;先贴代码:package org.fansy.date902jdbc;import java.util.List;import org.apache.mahout.cf.tas
2012-09-02 22:41:49 7577 7
Mahout案例实战 约会推荐
2015-03-11
FP关联规则置信度
2014-11-19
libimesti推荐系统
2014-09-30
nmon 和 nmon analyser工具
2014-09-24
easyui+spring+struts+hibernate 实例
2014-09-16
MR Unit test需要的相关jar包
2014-07-29
Mahout贝叶斯分类不含标签数据
2014-07-20
Mahout算法调用展示平台2.1-part3
2014-07-06
Mahout算法调用展示平台2.1-part2
2014-07-06
mahout0.9源码(支持hadoop2)
2014-04-09
博客推荐系统源码
2014-02-18
web平台调用hadoop集群2.0
2014-01-03
hadoop启动时间写入文件
2013-12-20
监控hadoop任务信息
2013-12-18
web 工程调用hadoop集群1.4
2013-12-02
flex datagrid doubleclick 实例
2013-11-22
flex dispatchEvent 实例工程
2013-11-19
web 工程调用hadoop集群1.3
2013-11-17
flex 调用java
2013-11-12
svd mahout算法
2013-10-31
读取HDFS序列化文件解析key、value可视化输出
2013-10-25
spark-yarn_2.10-1.6.0-cdh5.7.3.jar
2016-12-24
hotspot关联规则
2015-03-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人