![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop学习笔记
文章平均质量分 55
long1657
这个作者很懒,什么都没留下…
展开
-
Ubuntu 13.04 安装JDK7
本章讲述的是在ubuntu13.04下如何安装JDK7。1.在oracle的官方网站下载适合本机环境的JDK http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html2.解压和安装 $ sudo mkdir /usr/lib/jvm $ s原创 2013-07-07 23:06:12 · 1359 阅读 · 0 评论 -
hadoop中mapreduce的默认设置
默认设置job.setInputFormatClass()的默认设置为TextInputFormat类,该类处理输入(该类只处理文本文件)。TextInputFormat将文本文件的多行分成splits,并通过LineRecorderReader,将其中的每一行解析成对,key值为对应行在文件中德偏移量,value为行的内容。job.setMapperClass()的默认值为Mapper,原创 2014-09-24 17:55:50 · 1570 阅读 · 0 评论 -
Hadoop与HBase的一些特殊操作命令
Hadoop与HBase的一些特殊操作命令 1.将hbase数据库中的表导出到hdfs中的命令:Hbase org.apache.hadoop.hbase.mapreduce.Export [ [ []]]2.加载导出的数据回到HBase的命令:Hbase org.apache.hadoop.hbase.mapreduce.Import 注意:导入时表必须存在,导出的原创 2014-09-24 17:53:59 · 2372 阅读 · 0 评论 -
Hadoop,HBase添加和删除节点
Hadoop添加和删除节点一.添加节点(一)添加节点有两种方式,一种是静态添加,关闭hadoop集群,配置相应配置,重启集群(二)动态添加,在不重启集群的情况下添加节点1.设置DN与NN的SSH无密码登陆2.在hosts添加主机名称,并且把该文件复制到集群中的其他节点上。3.修改Name节点上的slaves文件(主要用于下次重启的时候使用)4.在DN中启动进程:原创 2014-09-24 17:44:32 · 6002 阅读 · 0 评论 -
ganglia在CentOS6.5的安装
一.ganglia概述Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。(来自百度百科)二.前期工原创 2014-05-20 20:03:16 · 1384 阅读 · 0 评论 -
如何使编写的java程序在hadoop 2.2中运行的完整过程
如何使编写的java程序在hadoop 2.2中运行的完整过程(在不使用eclipse情况)在不使用eclipse情况使java程序在hadoop 2.2中运行的完整过程。整个过程中其实分为java程序的编译,生成jar包,运行测试。这三个步骤运用的命令都比较简单,主要的还是如何找到hadoop 2.2提供给java程序用来编译的jar包。具体可以查看:HADOOP_HOME/原创 2014-03-26 19:02:43 · 3186 阅读 · 2 评论 -
在64位操作系统中重编译hadoop 2.2.0
在64位操作系统中重编译hadoop 2.2.0最近为了做一些测试,在CentOS6.5中部署Hadoop 2.2.0。从官方网站下载hadoop-2.2.0.tar.gz的安装包,部署安装后发现不能运行提示: WARNutil.NativeCodeLoader: Unable to load native-hadoop library for yourplatform... using原创 2014-03-27 19:49:05 · 4630 阅读 · 0 评论 -
Zookeeper 3.4.6在Hadoop 2.2.0的安装
1.环境配置本次集群有三台节点Master:hpd1Slave:hdp2,hdp3OS:CentOS 6.52.下载Zookeeper 3.4.6Zookeeper 3.4.6下载地址:http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/3.解压安装$tar -zxvf zookeeper-3.4.6.t原创 2014-04-02 14:10:23 · 1969 阅读 · 0 评论 -
Hadoop发行版的比较与选择
Hadoop的发行版除了社区的Apache Hadoop外,Cloudera,Hortonworks,MapR,EMC,IBM,Intel,华为等都提供了自己的商业版本。商业版主要是提供了专业的技术支持,这对一些大型企业尤其重要。每个发行版都有自己的一些特点,本文就各个发行版做简单介绍。 2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司,为合作伙伴提供 Hadoo转载 2014-03-17 16:40:24 · 1109 阅读 · 0 评论 -
java通过api对hadoop的操作
一.文件操作1.上传本地文件到hadood2.在hadoop中新建文件,并写入3.删除hadoop上的文件4.读取文件5.文件修改时间二.目录操作1.在hadoop上创建目录2.删除目录3.读取某个目录下的所有文件三.hdfs信息1.查找某个文件在HDFS集群中位置2.获取HDFS集群上所有名称节点信息一.文件操作1.上传本地文件到hadoodp原创 2013-09-23 22:33:44 · 1204 阅读 · 0 评论 -
Hive0.10.0安装和配置
一.安装1.下载http://apache.fayea.com/apache-mirror/hive/hive-0.10.0/hive-0.10.0.tar.gz2.解压到当前用户的hive目录下:tar -zxvf hive-0.10.0.tar.gz /home/long1657/hive3.配置环境变量:vim ~/.bashrcexport HIVE_HOME=/home/原创 2013-09-23 22:05:48 · 1853 阅读 · 0 评论 -
Hadoop中的Streaming对linux的操作
如何使用Hadoop提供的Streaming,我们可以通过Linux中的命令来实验,比如查看一个文件中的数字统计可以使用下面的命令:cat sample.txt | wc其中sample.txt表示需要统计的文件,|表示管道,wc统计数据的命令现在使用Streaming形式统计Hadoop中的sample.txt的数字。1.把sample.txt上传到hadoop中,:hadoop原创 2013-09-15 21:01:22 · 759 阅读 · 0 评论 -
HBase建表的基本命令
1.启动HBase外壳环境(shell):hbase shell2.新建一张表“test” 要新建一个表,必须对你的表命名,并定义模式。一个表的模式包含表的属性和一个列族的列表。列族本身也有属性。可以在定义模式时一次定义它们。列族的属性示例包括列族是否应该在文件系统中压缩村村,一个单元格要保存多少个版本等。模式可以修改,需要时把表设为“离线”(offline)即可。外科环境中使用disa原创 2013-08-31 12:40:25 · 6283 阅读 · 0 评论 -
hadoop 0.20.2中hbase 0.90.5的完全分布式安装
本文是介绍如何在hadoop 0.20.2上进行hbase 0.90.5的完全分布式安装。一。先介绍当前环境情况JDK7+Hadoop 0.20.2本集群有三个节点,分别为:二。HBase的安装1.下载hbase 0.90.5版本,该版本匹配hadoop 0.20.2下载地址可以在官网上下载,也可以点击下面链接下载:http://pan.baidu.com/disk原创 2013-08-30 23:03:28 · 1528 阅读 · 0 评论 -
Hadoop 权威指南中气象术语的解释
STN---WBAN 气象站号YEARMODA 年月日TEMP 气温DEWP 露点(dew point)SLP 海平面气压(Sea level pressure)STP 本站气压(station pressure)VISIB 能见度 (Visibility)WDSP 风向风速(wind direction ; speed)MXSPD 最大风速 (max. spe原创 2013-07-13 09:08:26 · 4080 阅读 · 0 评论 -
Hadoop 在重启或者多次格式化后无法启动datanode问题的解决
一.安装好的hadoop,在重启或者多次格式化后无法重启datanode二.问题产生原因 当我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode,那么datanode原创 2013-07-09 23:12:05 · 4134 阅读 · 0 评论 -
Ubuntu13.04安装Hadoop集群环境
1.配置hosts通过命令:sudo vim /etc/hosts,按照实际情况配置hosts2.安装JDK,具体可以参考网上:http://blog.csdn.net/long1657/article/details/92659493.安装SSH:具体参考网上资料:http://blog.csdn.net/long1657/article/details/92660374原创 2013-07-09 22:56:50 · 1381 阅读 · 0 评论 -
Ubuntu13.04安装SSH,以及配置多台电脑之间无密码登陆
本章讲述的是在ubuntu13.04中如何安装SSH已经配置,多台电脑之间的无密码登录1.安装SSH在ubuntu13.04的终端中输入:sudo apt-get install ssh根据提示安装SSH;可以在用户根目录下通过命令:ls -a 查看是否存在.ssh目录,(注意:.ssh是一个隐藏文件,所以需要用.-a选项)第一次安装一般都可能不存在,可以通过:ssh loca原创 2013-07-08 00:01:29 · 2414 阅读 · 0 评论 -
win eclipse 执行mapreduce 提示AccessControlException: Permission denied的解决办法
win eclipse 执行mapreduce,提示如下错误:org.apache.hadoop.security.AccessControlException: Permission denied: user=1010, access=WRITE, inode="/1010":root:supergroup:drwxr-xr-x问题 原因:没有1010这个用户的权限解决方案:在had原创 2014-09-30 11:25:04 · 1357 阅读 · 0 评论