![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
CarlosXu14
日常分享代码心得,勿吐槽
展开
-
什么是hadoop
Hadoop是什么,能干什么,怎么使用1、Hadoop是什么1.1、小故事版本的解释小明接到一个任务:计算一个100M的文本文件中的单词的个数,这个文本文件有若干行,每行有若干个单词,每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务,小明感觉很轻松。他首先把这个100M的文件拷贝到自己的电脑上,然后写了个计算程序在他的计算机上执行后顺利输出了结果。后来,小明接...原创 2019-09-17 16:15:04 · 85 阅读 · 0 评论 -
Hadoop单机部署
hadoop官网https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html一,操作系统环境依赖软件ssh,jdkssh远程访问,一般都是自带的配置java环境java_homeexport JAVA_HOME=/usr/java/jdk1.7.0_67expor...原创 2019-09-17 16:24:07 · 128 阅读 · 0 评论 -
Hadoop集群部署
hadoop官网https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html在windows主机的host文件中配置各主机的映射192.168.56.11 node1192.168.56.12 node2192.168.56.13 node3192.168.56.14...原创 2019-09-17 16:31:40 · 100 阅读 · 0 评论 -
hadoop-hdfs-ha(Hadoop高可用分布式文件系统搭建)
在hadoop集群部署的基础上上传zookeeper,将zookeeper解压到/opt/sxt中部署环境export JAVA_HOME=/usr/java/jdk1.7.0_67export HADOOP_HOME=/opt/sxt/hadoop-2.6.5export ZOOKEEPER_HOME=/opt/sxt/zookeeper-3.4.6export PATH=$PATH...原创 2019-09-17 16:37:42 · 140 阅读 · 0 评论 -
Hadoop MapReduce报错Caused by: java.io.IOException: Unable to initialize any output collector
Caused by: java.io.IOException: Unable to initialize any output collector将Text类型导入成了:import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;改为:import org.apache.hadoop.io.Tex...原创 2019-09-19 16:39:21 · 254 阅读 · 0 评论 -
单用户模式hive的安装以及hive与Hadoop的联系
hive安装:将hive文件拷贝到linux中,解压;配置环境变量:export JAVA_HOME=/usr/java/jdk1.7.0_67export HADOOP_HOME=/opt/sxt/hadoop-2.6.5export ZOOKEEPER_HOME=/opt/sxt/zookeeper-3.4.6export HIVE_HOME=/root/hiveexport P...原创 2019-09-20 21:50:22 · 155 阅读 · 0 评论