hadoop
flyeagle88
这个作者很懒,什么都没留下…
展开
-
hadoop配置文件详解、安装及相关操作
一、 Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加:export JAVA_HOME=/home/Java/jdk1.6 2. 在conf/core-site.xml文件中增加如下内容: fs.default.name - 这是一个描述集群中NameNode结点的URI(包括协议转载 2013-01-24 16:18:28 · 1349 阅读 · 0 评论 -
kafka安装文档
参考:http://www.350351.com/jiagoucunchu/ZooKeeper/320969.html原创 2014-10-13 13:40:51 · 421 阅读 · 0 评论 -
hadoop维护时候的一些重要命令
参考网址:http://xubo8118.blog.163.com/blog/static/185552332201301811402816/hadoop fs -setrep -R 3 /hadoop fsck /hadoop fsck -delete原创 2013-10-21 09:49:05 · 595 阅读 · 0 评论 -
hive常用命令
一、添加hive自定义函数add jar /opt/cloudera/parcels/CDH/lib/hive/lib/bhdp-base-0.0.2.jar;create temporary function decode_order_moblie as 'com.baihe.hadoop.hive.udf.DecodeOrderMobile';select原创 2014-04-24 15:00:01 · 533 阅读 · 0 评论 -
hadoop学习参考网址
NFS安装配置及常见问题、/etc/exports配置文件、showmount命令http://desert3.iteye.com/blog/1675522转载 2014-02-18 23:01:23 · 1312 阅读 · 0 评论 -
CDH的Cloudera Manage安装或升级
一.准备centos6.2系统java 1.6.31二.下载rpm资源http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4RPMS的文件和repodata都得下三.开启本地源yum>yum list installed cloudera-manager-serveryum list inst原创 2013-12-26 00:20:35 · 981 阅读 · 0 评论 -
hadoop遇到的一些问题
http://royripple.diandian.com/post/2011-07-14/40028719245原创 2013-11-27 15:38:44 · 450 阅读 · 0 评论 -
hadoop & hbase 上下线
原文网址:http://blog.chinaunix.net/uid-16362696-id-3479643.html 线上部署hadoop、hbase 一般都是采用存储、计算一对一的方式,即每个节点启动 hadoop 的 datanode(以下简称dn)& tasktracker(以下简称tt) 再加 hbase regionserver(以下简称rs),hadoop namenode转载 2013-09-02 09:52:33 · 871 阅读 · 0 评论 -
重启hadoop的namenode报错解决方法
重启hadoop的namenode一些报错的解决方法1、提示挂载失败2013-02-16 15:20:22,057 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.org.apache.hadoop.hdfs.server.common.Inc原创 2013-02-17 15:29:13 · 1218 阅读 · 0 评论 -
【转】在eclipse3.7中配置hadoop1.0.1插件
1.安装插件准备程序:eclipse-3.7 hadoop-eclipse-plugin-1.0.1(http://download.csdn.net/detail/xiaoping8411/4216102)将hadoop-eclipse-plugin-1.0.1复制到eclipse/plugins目录下,重启eclipse。2.打开MapReduce视转载 2013-01-16 14:42:20 · 379 阅读 · 0 评论 -
hive优化之-控制hive任务中的map数和reduce数
1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2. 举例: a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文转载 2018-01-08 23:15:52 · 267 阅读 · 0 评论