hadoop
我的天才围墙
我是一个爱笑的程序猿
展开
-
hadoop分布式环境搭建(vmware14+hadoop2.9.0(包含yarn)+Ubuntu16.04LTS+jdk1.8.0_161)
博主最近在vmware workstation14+hadoop2.9.0+Ubuntu16.04LTS环境下搭建了一个master(一个namenode)两个slave(即两个datanode)的分布式hadoop环境,下面将本次博主搭建的过程及步骤按照和各位博友分享,由于博主未保存搭建时各步骤的截图,因此将使用前辈们各步骤截图或者无截图,望各位前辈见谅。 进行配置之前...原创 2018-02-12 17:14:49 · 884 阅读 · 0 评论 -
hadoop2.9.0环境下,mysql和伪分布式hive安装
在上一篇文章中,较为详细的讲述了hadoop2.9.0的安装步骤,本篇主要讲解如何在此环境上安装hive组件(Hive是一种以SQL风格进行任何大小数据分析的工具,其特点是采取类似关系数据库的SQL命令。其特点是通过 SQL处理Hadoop的大数据,数据规模可以伸缩扩展到100PB+,数据形式可以是结构或非结构数据)搭建hive前提:已正常启动的hadoop2.9.0或者其他版本hadoop(一)...原创 2018-02-28 09:48:06 · 1390 阅读 · 0 评论 -
hadoop拒绝history通过19888端口连接查看已完成的job的日志
如题如下图所示,hadoop拒绝history通过19888端口连接查看已完成的job的日志,即点击下图的history之后,拒绝通过19888端口连接原因在于:通过start-all.sh启动hadoop各项节点后,historyserver并没有启动,需要手动启动,因此可以通过以下命令来手动启动historyserver,关闭命令也给出.启动命令:mr-jobhistory-daemon.sh...原创 2018-05-16 09:20:40 · 8557 阅读 · 1 评论