Hadoop
文章平均质量分 71
古韦
这个作者很懒,什么都没留下…
展开
-
centos配置ssh免密码登录后,仍提示输入密码
CentOS 下SSH无密码登录的配置最近学习Hadoop。它要求各节点之间通过SSH无密码登录,配置SSH的时候费了一番功夫,记录下来,以备忘。配置SSH无密码登录需要3步: 1.生成公钥和私钥 2.导入公钥到认证文件,更改权限 3.测试1.生成公钥和私钥 Shell代码原创 2014-10-07 10:58:57 · 5463 阅读 · 1 评论 -
Hive的UDF实现及注意事项
Hive自身查询语言HQL能完成大部分的功能,但遇到特殊需求时,需要自己写UDF实现。以下是一个完整的案例。1、eclipse中编写UDF①项目中加入hive的lib下的所有jar包和Hadoop中share下hadoop-common-2.5.1.jar(Hadoop目前最新版本2.5.1)。②UDF类要继承org.apache.hadoop.hive.ql.exec.UDF类,类中原创 2014-11-19 21:26:22 · 4027 阅读 · 0 评论 -
hadoop常见错误
hadoop常见错误集锦:1.DataXceiver error processing WRITE_BLOCK operationERROR org.apache.hadoop.hdfs.server.datanode.DataNode: 192-168-11-58:50010:DataXceiver error processing WRITE_BLOCK operation sr原创 2014-10-17 14:02:15 · 2216 阅读 · 0 评论 -
hadoop中fsimage和edits的区别
1、概念:fsimage保存了最新的元数据检查点。edits保存自最新检查点后的命名空间的变化。2、工作原理:从最新检查点后,hadoop将对每个文件的操作都保存在edits中,为避免edits不断增大,secondary namenode就会周期性合并fsimage和edits成新的fsimage,edits再记录新的变化。这种机制有个问题:因edits存放在Name原创 2014-10-15 21:54:16 · 3264 阅读 · 0 评论 -
hbase完全分布式安装与配置
hbase完全分布式安装与配置,hbase安装与配置,hbase安装原创 2014-10-12 10:30:27 · 5024 阅读 · 0 评论 -
ZooKeeper完全分布式安装与配置
ZooKeeper介绍请见官网。1.环境说明在两台装有centos6.4(32位)的服务器上安装ZooKeeper,官网建议至少3个节点,资源有限,本次实验就2台了。需要提前安装jdk,选择的版本是jdk-6u27-linux-i586.bin,下载地址:http://pan.baidu.com/s/1mgICcFA2.配置主机名和ip映射的关系。ZooKeeper集群原创 2014-10-11 21:56:12 · 6480 阅读 · 0 评论 -
hive安装与配置
1.先决条件要先安装hadoop,安装详细见:http://blog.csdn.net/hwwn2009/article/details/398894652.安装hive1)下载hive,注意hive版本与hadoop版本兼容wget http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.1原创 2014-10-09 17:09:24 · 1190 阅读 · 0 评论 -
centos6.4安装hadoop-2.5.1(完全分布式)
环境介绍:在两台装有centos6.4(32位)的服务器上安装Hadoop-2.5.1分布式集群(2台机器,主要试验用,哈哈)。1.修改主机名和/etc/hosts文件1)修改主机名(非必要)vi /etc/sysconfig/networkHOSTNAME=XXX重启后生效。2)/etc/hosts是ip地址和其对应主机名文件,使机器知道ip和主机名对应关系,格原创 2014-10-08 09:10:58 · 3763 阅读 · 0 评论 -
HDFS文件操作常用命令
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。 1. 查看文件列表查看hdfs中/user/admin/hdfs目录下的文件。a. 进入HADOOP_HOME目录。b. 执行sh bin/hadoop fs -ls /user/admin/hdfs查看hdfs中/user/admin/hdfs目录下的所有文件(包括子目转载 2014-10-08 15:45:28 · 2195 阅读 · 0 评论 -
hadoop分布式平台优化
Hadoop性能调优不仅是自身的调优,还应包括底层硬件、操作系统等。下面逐一介绍:1、底层硬件Hadoop采用的是master/slave的架构,master(resourcemanager或namenode)要维护元数据信息、调度等,任务量及重要性远大于slave,因此尽量将master高配置。2、操作系统1)增大最大文件描述符的数量和网络连接上限(作用明显)原创 2014-10-18 19:59:00 · 814 阅读 · 0 评论