Hadoop
以实战为线索
Rocky000000
加油,致最好的年华!!!
展开
-
基于Docker的Hadoop集群安装
前情回顾之前在搭建大数据集群的时候,一直使用的是VMware虚拟机中直接搭建集群,这样的操作需要考虑到硬件设备的综合性能。今天为大家介绍一下如何使用Docker容器中安装Hadoop集群,接下来将会为大家详细的介绍搭建的方法以及需要注意的事项。一、准备环境1. 安装Dockersudo apt-get install docker2.准备Hadoop的压缩包在这里直接将我之前使用的t...原创 2019-12-01 15:56:33 · 433 阅读 · 0 评论 -
Docker的安装及Hadoop分布式的部署
使用docker搭建部署hadoop分布式集群在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,只能自己写一个了。一:环境准备:1:首先要有一个Centos7操作系统,可以在虚拟机中安装。a、root账户登录,查看内核版本[root@admin01 ~]# uname -aLinux admin01 3.10.0-862.el7.x86_64 #1 ...原创 2019-12-23 14:37:02 · 542 阅读 · 0 评论 -
MapReduce运行报Does not contain a valid host:port authority: VM_0_9_centos:35697 异常
在使用命令 bin/start-all.sh 时,本以为会正常启动所有的服务,但是使用jps查看信息的时候并没有显示进程启动成功,然后去查看日志信息,发现报出以下异常错误信息:2018-11-12 22:15:34,727 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.java.l...原创 2018-11-30 18:53:31 · 928 阅读 · 0 评论 -
stopping hbasecat: /tmp/hbase-hadoop-master.pid: No such file or directory
hbase停止集群时,报错如下:[hadoop@admin01 hbase-1.3.1]$ bin/stop-hbase.sh stopping hbasecat: /tmp/hbase-hadoop-master.pid: No such file or directory造成上述错误的原因是,默认情况下hbase的pid文件保存在/tmp目录下,/tmp目录下的文件很容易丢失,所以造成...原创 2018-11-07 23:05:26 · 6713 阅读 · 0 评论 -
Cloudera Manager离线安装与卸载【按照此文章可以卸载干净,然后执行cm5的bin文件重新安装,不推荐此安装方法】
文章来源:http://www.chinahadoop.cn/group/5/thread/19最近一直很苦恼,因为一直不知道Clouder Manager的离线安装与卸载,在生产环境中无法直接通过cm安装cdh。终于,皇天不负有心人,让我找到了一份有关搭建yum源来安装的步骤。一、安装步骤 说明:yum源最好安装到一台有往外的服务器上,为内网服务器提供一个yum源;如果没有这样的服务器,...转载 2018-10-07 17:46:11 · 730 阅读 · 0 评论 -
ssh: Could not resolve hostname guard.: Name or service not known
ssh: Could not resolve hostname with: Name or service not knownlibrary: ssh: Could not resolve hostname library: Name or service not known18/08/21 17:...原创 2018-08-21 17:30:00 · 13900 阅读 · 0 评论 -
-bash: /bin/bash^M: bad interpreter: 没有那个文件或目录
运行脚本的时候出现了这样一个错误,打开之后并没有找到所谓的^M,查了之后才知道原来是文件格式的问题。也就是Linux和Windows之间的不完全兼容出现的问题。-bash: ./datacollect.sh: /bin/bash^M: bad interpreter: 没有那个文件或目录错误分析:因为操作系统是Windows,我在Windows下编辑的脚本,所以有可能会存在不可见的字符,监...原创 2018-08-17 16:47:50 · 4767 阅读 · 1 评论 -
Hadoop中的ssh无秘钥登录配置
ssh无秘钥登录配置对于需要远程管理其它机器,一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密,存在不安全因素,只适合内网访问。为解决这个问题,推出了通信加密通信协议,即SSH(Secure Shell)。使用非对称加密方式,传输内容使用rsa或者dsa加密,可以避免网络窃听。hadoop的进程之间同信使用ssh方式,需要每次都要输入密码。...原创 2018-08-17 13:34:31 · 2433 阅读 · 0 评论 -
Hadoop中hiveserver2 不能启动端口 10000 开启服务的总结
[hadoop@admin1 bin]$ ./beeline Beeline version 1.2.1 by Apache Hivebeeline> !connect jdbc:hive2://localhost:10000Connecting to jdbc:hive2://localhost:10000Enter username for jdbc:hive2://localh...原创 2018-08-19 17:54:21 · 5514 阅读 · 0 评论 -
Hadoop中的一些常见问题
namenode安全问题当namenode发现集群中的block丢失数量达到一个阀值时,namenode就进入安全模式状态,不再接受客户端的数据更新请求。 在正常情况下,namenode也有可能进入安全模式: 集群启动时(namenode启动时)必定会进入安全模式,然后过一段时间会自动退出安全模式(原因是datanode汇报的过程有一段持续时间) 也确实有异常情况下导致的安全模式...原创 2018-08-17 00:43:08 · 342 阅读 · 0 评论 -
Linux中的同步时间服务
第一种方式:同步到网络时间服务器 # ntpdate time.windows.com将硬件时间设置为当前系统时间。 #hwclock –w 加入crontab: 30 8 * * * root /usr/sbin/ntpdate 192.168.0.1; /sbin/hwclock -w 每天的8:30将进行一次时间同步。 重启crond服务:service cron...原创 2018-08-17 00:06:30 · 2560 阅读 · 0 评论 -
Hadoop 中的面试题
1、MapTask并行机度是由什么决定的? 由切片数量决定的。2、MR是干什么的? MR将用户编写的业务逻辑代码和自带的默认组件结合起来组成一个完整的分布式应用程序放到hadoop集群上运行。 MR的实例进程: driver(mr的job提交客户端) MRAppMaster MapTask ReduceTask ...转载 2018-08-19 09:30:06 · 437 阅读 · 0 评论 -
Hadoop运行MR出现此问题:Unauthorized request to start container
问题执行wordcount例子程序,出现以下错误:18/08/18 22:40:43 INFO client.RMProxy: Connecting to ResourceManager at admin1/192.168.1.21:803218/08/18 22:40:44 WARN mapreduce.JobResourceUploader: Hadoop command-line ...原创 2018-08-17 22:46:05 · 544 阅读 · 0 评论 -
Hadoop可以用来做什么?
在数据为王的时代,数据挖掘能力已经成为衡量企业竞争力的重要指标之一。如何利用好通用大数据平台Hadoop,如何选择一款合适企业业务的Hadoop发行版也毫无疑问成为了企业的必备技能。在这个成本高昂的探索过程中,大数据行业内各个领域无疑成为了各个机构一个重要的认知和学习途径。What Is Apache Hadoop? The Apache™ Hadoop® project develops ...转载 2018-03-28 12:10:48 · 3348 阅读 · 0 评论