![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
lizc_lizc
好好学习,天天向上。
展开
-
hadoop伪分布式安装
一、安装jdk检查卸载已经安装的默认jdk[root@localhost ~]# rpm -qa | grep jdkcopy-jdk-configs-3.3-2.el7.noarchjava-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_...原创 2018-08-18 09:35:55 · 358 阅读 · 0 评论 -
hadoop shell的基本使用
将本地文件上传到hdfs[root@localhost data]# hadoop fs -put hello.txt /查看hdfs目录[root@localhost data]# hadoop fs -ls /在hdfs根目录下新建一个文件夹[root@localhost data]# hadoop fs -mkdir /test递归新建文件夹[root@localhos...原创 2018-08-18 20:36:18 · 313 阅读 · 0 评论 -
HDFS Java api操作
新建一个maven工程在pom.xml中添加相关依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schem...原创 2018-08-19 11:16:45 · 210 阅读 · 0 评论 -
hadoop分布式环境搭建
准备工作三台机器对应IP地址如下,hadoop1作为主节点192.168.126.131 hadoop1192.168.126.132 hadoop2192.168.126.133 hadoop3在每台机器上设置hostname,以hadoop1机器为例[root@hadoop1 /]# vim /etc/sysconfig/network设置内容NETWORKIN...原创 2018-08-26 10:51:37 · 171 阅读 · 0 评论 -
YARN环境搭建(单节点)
配置文件etc/hadoop/mapred-site.xml:<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>&原创 2018-08-19 17:53:55 · 623 阅读 · 0 评论 -
实现wordcount功能
新建一个maven工程在pom.xml中添加相关依赖<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sche...原创 2018-08-25 09:28:32 · 646 阅读 · 0 评论 -
配置jobhistory
JobHistoryServer历史服务器,管理者可以通过历史服务器查看已经运行完成的Mapreduce作业记录,比如用了多少个Map、多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,历史服务器是没有启动的,需要进行参数配置才能启动。配置文件[root@localhost hadoop]# vim mapred-site.xml<config...原创 2018-08-25 15:50:32 · 572 阅读 · 0 评论 -
Sqoop安装
下载文件wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压到/opt/目录下tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/设置Sqoop环境变量 vim /etc/profile...原创 2018-09-18 14:42:27 · 176 阅读 · 0 评论 -
zookeeper伪分布式
下载wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.9.3.tar.gz解压tar -zxvf zookeeper-3.4.5-cdh5.9.3.tar.gz -C /opt/进入/opt/目录修改文件名mv zookeeper-3.4.5-cdh5.9.3 zookeeper01进入/...原创 2018-10-01 17:13:49 · 199 阅读 · 0 评论