Hadoop
阿圆007
走在程序的路上……
展开
-
hadoop2.4.1伪分布式环境搭建
1. 1.准备Linux环境 1.0 设置虚拟软件 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -&原创 2019-03-10 18:39:25 · 161 阅读 · 0 评论 -
hadoop2.4.1完全分布集群搭建
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意:apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 前期准备就不详细说了,课堂上都介绍了 1.修改...原创 2019-03-13 13:33:59 · 346 阅读 · 0 评论 -
HDFS命令
操作HDFS常用的命令 1、创建文件夹 hdfs dfs -mkdir 文件夹名 2、上传文件到HDFS指定文件夹 hdfs dfs -put 源文件路径 目的路径 3、删除文件夹 hdfs dfs -rm 文件夹路径 4、查看文件列表 hadoop fs -ls 文件夹路径 5、查看文件内容 hadoop fs -cat 文件名称 ...原创 2019-03-13 13:40:00 · 148 阅读 · 0 评论 -
Hbase集群搭建
1.上传hbase安装包 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_55 //告诉hbase使用外部的zk export HBASE_MANAGE...原创 2019-03-13 14:02:08 · 141 阅读 · 0 评论 -
Hive安装
Hive只在一个节点上安装即可 1.上传tar包 2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量 rpm -qa | grep mysql rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps rpm -ivh MySQL-...原创 2019-03-13 14:03:46 · 135 阅读 · 0 评论 -
MapReduce任务的几种运行方式
mapreduce job的几种运行模式 1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(wc.jar),上传到服务器,执行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 这种方式会将这个job提交到yarn集群上去运行 2、在Linux的eclipse中直接启动Runner类的main...原创 2019-03-13 14:49:30 · 795 阅读 · 0 评论 -
zooeeper环境搭建
1.上传zk安装包 2.解压 3.配置(先在一台节点上配置) 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件(zoo.cfg) dataDir=/home/hadoop/app/zookeeper-3.4.5/data server.1=itcast05:2888:3888 server.2=...原创 2019-03-13 14:52:52 · 222 阅读 · 0 评论