Hadoop
文章平均质量分 76
A_lele123
这个作者很懒,什么都没留下…
展开
-
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
问题导读:1.DataNode的http服务的端口、ipc服务的端口分别是哪个?2.NameNode的http服务的端口、ipc服务的端口分别是哪个?3.journalnode的http服务的端口、ipc服务的端口分别是哪个?4.ResourceManager的http服务端口是哪个?5.NodeManager的http服务端口是哪个?6.Master的http服务的端口、转载 2014-12-16 13:34:55 · 1075 阅读 · 0 评论 -
hadoop需要的各种包
hadoop各种包hadoop-1.1.2.tar.gz链接: http://pan.baidu.com/s/1qWwgEIS 密码: wwirhadoop-eclipse-plugin-2.2.0.jar链接: http://pan.baidu.com/s/1sjQ6Nnv 密码: uvwxhadoop-2.2.0_x64.tar.gz链接: http://p转载 2014-12-16 09:42:53 · 5440 阅读 · 4 评论 -
hadoop2.4.0伪分布式安装配置
折腾了两天多,终于搞明白怎样从虚拟机中搭建伪分布式hadoop,并通过windows中的eclipse连接虚拟机中的hadoop,废话不多说,下面介绍linux安装过程。需要环境:虚拟机VMware,CentOS安装包,jdk-7u25-linux-i586.rpm,hadoop-2.4.0.tar.gz,xshell首先下载hadoop2.4.0的安装包,资源很多,这里不给出下载地址了原创 2014-12-15 14:46:48 · 1454 阅读 · 0 评论 -
hadoop2.2.0定制mapreduce输出到Redis
这里以redis数据库为例。这里的例子是,我想统计日志文件中的某天各个小时的访问量,日志格式为:2014-02-10 04:52:34 127.0.0.1 xxx我们知道在写mapreduce job时,要配置输入输出,然后编写mapper和reducer类,hadoop默认输出是到hdfs的文件中,例如:job.setOutputFormatClass(FileOutputF转载 2015-04-10 09:38:18 · 2510 阅读 · 0 评论 -
windows下 在eclipse中执行mapreduce 权限问题
windows下 在eclipse中执行mapreduce 权限问题15/04/22 11:20:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable15/04/22 11:20原创 2015-04-22 11:26:04 · 1133 阅读 · 0 评论 -
解决客户端通过zookeeper连接到hbase时连接过多的问题
原因:客户端程序通过zookeeper访问hbase的连接数超过设置的默认链接数(默认数是30),连接数不够用会导致后续的连接连接不上去。解决办法:设置hbase-site.xml配置文件,添加如下属性 hbase.zookeeper.property.maxClientCnxns 300 Property from ZooKeeper's config zoo.c转载 2015-04-24 16:54:57 · 3507 阅读 · 0 评论