![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Polaris-zlf
不抛弃 不放弃
展开
-
Hadoop1.0的集群安装
1修改ipvim /etc/sysconfig/network-scripts/ifcfg-eth02修改主机名vi /etc/sysconfig/network3修改主机名和IP的映射关系vi /etc/hosts4关闭防火墙service iptables stopckconfig iptables off5重启reboo原创 2015-09-11 10:29:51 · 374 阅读 · 0 评论 -
hadoop1.0的伪分布安装
1.Linux环境配置(windows下面的防火墙也要关闭)1.1修改主机名vim /etc/sysconfig/network1.2修改IPvim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static" ###HWADDR="00:0C:29:BF:45:8B"原创 2015-09-11 11:11:36 · 333 阅读 · 0 评论 -
Hadoop基准测试
Hadoop自带了几个基准测试,本文使用的是hadoop-2.6.0一、Hadoop Test 的测试[root@master hadoop-2.6.0]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar An example program must be原创 2016-09-23 14:01:18 · 5733 阅读 · 0 评论 -
Hadoop-2.6.0集群安装
本文用的hadoop-2.6.0三台机器,一个namenode1.1修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop1 #需要修改的地方,三个机器分别修改为hadoop1、hadoop2、hadoop31.2修改IP原创 2016-10-19 13:35:24 · 311 阅读 · 0 评论 -
hadoop2的HDFS的高可用性
在hadoop1中,namenode存在单点故障,每一个集群中只有一个namenode,如果namenode所在的机器出现了故障,那么将导致整个集群无法利用主要在两方面影响了HDFS的可用性:1)、在不可预测的情况下,如果namenode所在的机器崩溃了,整个集群将无法利用,直到namenode被重新启动;2)、在可预知的情况下,比如namenode所在的机器硬件出错,将导致集群宕机。原创 2016-12-14 18:09:45 · 447 阅读 · 0 评论 -
mapreduce的结果写入到mysql中
输入文件为:把统计的IP 和每个ip的总数存入到mysql中1、自定义类,该类实现了从日志记录中判断数据是否合格public class TextLine {private String ip;//标识数据是否合法 private boolean flag = true; public TextLine(String line){//检验一行原创 2016-12-30 16:52:58 · 6958 阅读 · 1 评论 -
hadoop历史服务器
可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,hadoop历史服务器是没有启动的,我们可以通过下面的命令来启动hadoop历史服务器$ sbin/mr-jobhistory-daemon.sh start historyserver在相应机器的19888端口上就原创 2017-01-09 10:31:01 · 2172 阅读 · 0 评论 -
hadoop添加snappy解压缩库
Snappy是用C++开发的压缩和解压缩开发包,旨在提供高速压缩速度和合理的压缩率。虽然生成的压缩文件可能会比其他压缩库的要大上20%至100%,但是,相比其他的压缩库,Snappy却能够在特定的压缩率下拥有惊人的压缩速度。也就是说用空间换取速度1、安装snappyyum install snappy snappy-devel2、给hadoop环境增加 snappp原创 2017-01-09 10:54:53 · 1957 阅读 · 0 评论