lizc_lizc的博客

一、安装jdk 检查卸载已经安装的默认jdk [root@localhost ~]# rpm -qa | grep jdk copy-jdk-configs-3.3-2.el7.noarch java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64 java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_...

将本地文件上传到hdfs [root@localhost data]# hadoop fs -put hello.txt / 查看hdfs目录 [root@localhost data]# hadoop fs -ls / 在hdfs根目录下新建一个文件夹 [root@localhost data]# hadoop fs -mkdir /test 递归新建文件夹 [root@localhos...

新建一个maven工程 在pom.xml中添加相关依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schem...

准备工作 三台机器对应IP地址如下，hadoop1作为主节点 192.168.126.131 hadoop1 192.168.126.132 hadoop2 192.168.126.133 hadoop3 在每台机器上设置hostname，以hadoop1机器为例 [root@hadoop1 /]# vim /etc/sysconfig/network 设置内容 NETWORKIN...

配置文件 etc/hadoop/mapred-site.xml: <configuration>     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property> &

新建一个maven工程 在pom.xml中添加相关依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sche...

JobHistoryServer 历史服务器，管理者可以通过历史服务器查看已经运行完成的Mapreduce作业记录，比如用了多少个Map、多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，历史服务器是没有启动的，需要进行参数配置才能启动。 配置文件 [root@localhost hadoop]# vim mapred-site.xml <config...

下载文件 wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 解压到/opt/目录下 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/ 设置Sqoop环境变量  vim /etc/profile ...

下载 wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.9.3.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.9.3.tar.gz -C /opt/ 进入/opt/目录修改文件名 mv zookeeper-3.4.5-cdh5.9.3 zookeeper01 进入/...