![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Howie Lee
If wishes are horses, beggars would ride.
展开
-
Zookeeper集群环境配置
Zookeeper是什么顾名思义zookeeper就是动物园管理员,他是用来管hadoop(大象)、Hive(蜜蜂)、pig(小猪)的管理员, Apache Hbase和 Apache Solr 的分布式集群都用到了zookeeper;Zookeeper:是一个分布式的、开源的程序协调服务,是hadoop项目下的一个子项目。Zookeeper可以干哪些事情1、配置管理在我们的应用中除了代码外,还有一原创 2017-04-18 19:05:42 · 726 阅读 · 0 评论 -
hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍
一 、core-site.xml<configuration><!--指定namenode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property><!--用来指定使用hadoop时原创 2017-08-10 14:00:52 · 27987 阅读 · 0 评论 -
HDFS中JAVA API的使用
HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。 对分HDFS中的文件操作主要涉及一下几个类: Configuration类:该类的对象封转了客户端或者服务器的配置。 FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。原创 2017-08-10 14:54:35 · 473 阅读 · 0 评论 -
Hadoop数据类型
一. Hadoop内置的数据类型BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存储的文本NullWritable:当<key, value>中的key或value为空时使用二. 用户自原创 2017-08-10 15:17:05 · 895 阅读 · 0 评论 -
MapReduce 中job.setJarByClass()方法的疑惑
在调试mr实例的时候,遇到如下的情况,如图所示说明:就是我的mr程序类名称和我设置的setJarByclass()中设置的不一样,但是程序竟然没有报错!!!!当时把我吓尿了疑惑:如果这样设置的话,那岂不是找不到的main方法了啊?最后查看setJarByClass()方法,惊奇的发现在 JobConf中有个setJarByClass方法/*** Set the job's jar file by转载 2017-08-10 17:39:46 · 5035 阅读 · 1 评论 -
Hadoop完全伪分布式搭建
(比较简单在这里就不逐步截图了) Hadoop单机以及伪分布式和完全分布式的环境搭建详细步骤 一、首先确保网络,确保虚拟机能ping通本机电脑。 以下为IP配置文件vi /etc/sysconfig/network-scripts/ifcfg-eth0添加以下内容:(有则修改)IPADDR=192.168.1.163NETMASK=255.255.255.0GATEWAY=192.168.原创 2017-08-10 17:46:03 · 629 阅读 · 0 评论 -
hadoop之wordcount
1、搭建好一个hadoop程序:hadoop完全伪分布式搭建2、在myeclipse的安装目录下导入hadoop插件: 效果: 这里我们解压一个hadoop的安装包,箭头指向的位置引入所需依赖包3、创建一个工程 4、window–>show view –>Map/Reduce Location 5、编写WordCount程序:package com.hadoop.hdfs;import原创 2017-08-10 17:34:22 · 368 阅读 · 0 评论