hadoop
文章平均质量分 81
chenzhongwei99
这个作者很懒,什么都没留下…
展开
-
安装hadoop集群
ssh无密码连接 1.ssh-keygen -t rsa -P ''(三台机器都需要操作) 2.touch ~/.ssh/authorized_keys(三台机器都需要操作) 3.chmod 600 ~/.ssh/authorized_keys(三台机器都需要操作) 4.把每个机原创 2015-11-23 22:19:42 · 586 阅读 · 0 评论 -
hadoop 2.7.3 单机模式
1.下载hadoop包 命令:wget https://archive.apache.org/dist/hadoop/core/stable/hadoop-2.7.3.tar.gz 当前稳定版本的最新包2.解压 命令:tar -zxvf hadoop-2.7.3.tar.gz3.修改配置文件 hadoop-env.sh,core-原创 2017-04-28 17:55:38 · 832 阅读 · 1 评论 -
idea本地运行hdfs程序
上一篇文章已经搭建好了hadoop单机模式的服务,现在我们要在本地idea上操作hdfs。首先创建一个maven工程1.目录结构 2.pom.xml junit junit 3.8.1 test org.apache.hadoop hadoop-core 2.6.0-mr1-cdh5.11.0 org.原创 2017-05-18 18:02:50 · 6695 阅读 · 0 评论 -
idea本地运行mapreduce程序
上一篇文章介绍了如何在idea上运行hdfs程序,中间出现了很多错误,通过不断的在网上查找资料和自己的尝试。终于可以正常运行了。这篇我们将进行mapreduce程序的调试。准备工作:下载hadoop到windows本地 地址:https://archive.apache.org/dist/hadoop/core/stable/hadoop-2.7.3.tar.gz解原创 2017-05-19 18:11:30 · 13772 阅读 · 4 评论 -
hbase 1.2.6 集群模式
<configuration> <!-- 指定hbase在HDFS上存储的路径 --> <property> <name>hbase.rootdir</name> <value>hdfs://nameservice/hbase</value> </property> <!-- 指定hbase是分布式的 --> <property> <name>hba原创 2017-06-20 16:51:23 · 745 阅读 · 0 评论 -
sqoop1.99.7搭建和使用
sqoop的主要功能是hdfs与关系型数据库的数据互相导入导出。我们以hdfs和mysql互相导数据为例现在我们开始搭建sqoop1.下载sqoop包 wget http://mirror.bit.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz2.解压 tar -zxvf sqoo原创 2017-06-12 14:42:23 · 1564 阅读 · 0 评论