![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
一抹米粒
一只爱吐泡泡的小公鸡
展开
-
zsh启动hadoop时bash错误
近期将安装了hadoop的机器shell切换为zsh,启动时hdfs时报错,如图所示:网上查了一些资料,发现这句判断是在$HADOOP_HOME/libexec/hadoop-config.sh文件下,判断的是系统login-shell的版本,如下图所示:但是如果把这段判断注释掉,又会报如下的错误,学时浅薄,不知道怎么解决,有大佬知道评论区见:修改login-shell为bash后,问题解决,即使/bin/zsh到zsh下,也不报错。在网上也看到了其他的解决办法,新建一个用户,并赋予启动ha原创 2021-01-20 10:01:31 · 376 阅读 · 0 评论 -
Hadoop+zookeeper+Hbase+Hive(ZooKeeper+Hbase)
文章目录zookeeper修改配置文件创建datadir目录启动zookeeperHbase配置Hbase启动Hbasezookeeper修改配置文件vi /zookeeper/conf.cfg------------------------------------------# The number of milliseconds of each ticktickTime=2000maxClientCnxns=0# The number of ticks that the initial原创 2020-07-06 10:05:17 · 228 阅读 · 0 评论 -
Hadoop+zookeeper+Hbase+Hive(hadoop环境搭建)
文章目录准备linux环境搭建及jdk安装配置hadoop集群搭建单机版hadoop配置环境变量修改主机名和主机列表配置免密登录`/opt/hadoop260/etc/hadoop`目录下配置准备hadoop-2.6.0-cdh5.14.2.tar.gzhadoop-native-64-2.6.0.tarhbase-1.2.0-cdh5.14.2.tar.gzhive-1.1.0-cdh5.14.2.tar.gzjdk-8u221-linux-x64.tar.gzzookeeper-3.4.6原创 2020-07-06 10:02:47 · 790 阅读 · 0 评论 -
学习笔记-MapReduce过程
MapReduce过程最外层的黑框是一个机器的边界map task读文件InputFormat(主要是TextInputFormat)–>RecorderReader–>read()一次读一行,返回<key,value>//InputFormat抽象类,只有两个抽象方法public abstract List<InputSplit> getSplits(JobContext) throws IOException,InterruptedException原创 2020-07-06 02:09:44 · 82 阅读 · 0 评论