hadoop入门及安装
关注
分享
扫一扫
入门及安装
小刘同学-很乖
这个作者很懒，什么都没留下…
展开
-
CDH超详细离线安装
Cloudera Managercloudera manager的概念简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率cloudera manager的功能管理：对集群进行管理，如添加、删除节点等操作。监控：监控集群的健...原创 2020-04-09 09:13:27 · 2483 阅读 · 1 评论 -
Hadoop常见错误及解决方案
防火墙没关闭、或者没有启动YARNINFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032主机名称配置错误IP地址配置错误ssh没有配置好root用户和liujh两个用户启动集群不统一配置文件修改不细心未编译源码Unable to load native-hado...原创 2020-03-30 08:32:36 · 676 阅读 · 0 评论 -
Hadoop超详细编译源码
前期准备工作CentOS联网配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的注意：采用root角色编译，减少文件夹权限出现问题jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)1）hadoop-2.7.2-src.tar.gz2）jdk-8u144-linux-x64.tar.gz3）apache-ant-...原创 2020-03-30 08:32:17 · 462 阅读 · 0 评论 -
hadoop完全分布式运行模式---集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。配置时间同步具体实操时间服务器配置（必须root用户）检查ntp是否安装[root@hadoop102 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41...原创 2020-03-29 07:55:13 · 262 阅读 · 0 评论 -
hadoop完全分布式运行模式---SSH无密登录配置,群起集群,集群启动/停止方式总结
SSH无密登录配置配置ssh基本语法ssh 另一台电脑的ip地址ssh连接时出现Host key verification failed的解决方法[liujh@hadoop102 opt] $ ssh 192.168.1.103The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established....原创 2020-03-29 07:54:38 · 288 阅读 · 0 评论 -
hadoop完全分布式运行模式---集群配置,集群单点启动
集群配置集群部署规划hadoop102hadoop103hadoop103HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeManager配置集群配置core-site.xml[liujh@ha...原创 2020-03-28 09:19:53 · 456 阅读 · 0 评论 -
hadoop完全分布式运行模式---编写集群分发脚本xsync
scp（secure copy）安全拷贝scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）基本语法scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称案例实操1）在hadoop1...原创 2020-03-28 09:19:26 · 469 阅读 · 0 评论 -
hadoop伪分布式运行模式---配置日志的聚集
配置日志的聚集日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下：配置yarn-site.xml[liujh@hadoop101 hadoop]$ ...原创 2020-03-27 08:41:20 · 168 阅读 · 0 评论 -
hadoop伪分布式运行模式---配置历史服务器
配置历史服务器为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下:配置mapred-site.xml[liujh@hadoop101 hadoop]$ vi mapred-site.xml在该文件里面增加如下配置。<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.ad...原创 2020-03-27 08:40:58 · 146 阅读 · 0 评论 -
hadoop伪分布式运行模式---启动YARN并运行MapReduce程序
配置集群配置yarn-env.sh配置一下JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_144配置yarn-site.xml<!-- Reducer获取数据的方式 --><property> <name>yarn.nodemanager.aux-services</name>...原创 2020-03-26 08:35:46 · 543 阅读 · 0 评论 -
hadoop伪分布式运行模式---启动HDFS并运行MapReduce程序
配置集群配置：hadoop-env.sh1）Linux系统中获取JDK的安装路径：[liujh@ hadoop101 ~]# echo $JAVA_HOME/opt/module/jdk1.8.0_1442）修改JAVA_HOME 路径：export JAVA_HOME=/opt/module/jdk1.8.0_144配置：core-site.xml<!-- 指定...原创 2020-03-26 08:35:11 · 1200 阅读 · 0 评论 -
hadoop超详细本地运行模式
官方Grep案例创建在hadoop-2.7.2文件下面创建一个input文件夹[liujh@hadoop101 hadoop-2.7.2]$ mkdir input将Hadoop的xml配置文件复制到input[liujh@hadoop101 hadoop-2.7.2]$ cp etc/hadoop/*.xml input执行share目录下的MapReduce程序[l...原创 2020-03-25 13:09:15 · 322 阅读 · 0 评论 -
Hadoop超详细运行环境搭建
虚拟机环境准备克隆虚拟机修改克隆虚拟机的静态IP修改主机名关闭防火墙创建liujh用户配置liujh用户具有root权限在/opt目录下创建文件夹1）在/opt目录下创建module、software文件夹[liujh@hadoop101 opt]$ sudo mkdir module[liujh@hadoop101 opt]$ sudo mkdir software2...原创 2020-03-25 13:08:54 · 287 阅读 · 0 评论 -
Hadoop框架讨论大数据生态
Hadoop是什么hadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决海量数据的存储和海量数据的分析计算问题广义上来说Hadoop通常是指一个广泛的概念-----hadoop生态圈Hadoop发展历史Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎...原创 2020-03-25 13:08:20 · 301 阅读 · 0 评论