![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
MG羽白
这个作者很懒,什么都没留下…
展开
-
Hadoop学习-days4-大数据简介
1.大数据概念 大数据(big data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决,海量数据的存储和海量数据的分析计算问题。 2. 大数据特点 1)高速 Velocity 数据产生快 2)数量大 Volume 3)多样性 Vari...原创 2018-06-26 10:54:05 · 3524 阅读 · 0 评论 -
启动Hive时,出现Hive metastore database is not initialized
解决Hive启动,Hive metastore database is not initialized的错误。出错原因:以前曾经安装了Hive或MySQL,重新安装Hive和MySQL以后,导致版本、配置不一致。解决方法是,使用schematool工具。Hive现在包含一个用于 Hive Metastore 架构操控的脱机工具,名为 schematool.此工具可用于初始化当前 Hive 版本...原创 2018-11-27 14:07:40 · 2392 阅读 · 0 评论 -
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)
配置Mysql时出现如下问题,通过修改root密码得以解决:ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO) 1. 打开配置文件vim /etc/my.cnf,在配置文件[mysqld]后任意一行插入skip-grant-tables,来停止密码验证:# For a...原创 2018-11-26 15:21:44 · 1350 阅读 · 0 评论 -
CentOS7.3安装mysql
1. 下载mysql安装包$ wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm--2018-11-26 13:21:40-- https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpmResolving dev....原创 2018-11-26 15:15:24 · 1557 阅读 · 1 评论 -
启动Zookeeper出现错误bin/zkServer.sh: line 140: ./zookeeper.out: Permission denied
在阿里云上搭建Zookeeper时,利用bin/zkServer.sh start启动Zookeeper出现如下错误:$ bin/zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /home/lmg/Softwares/zookeeper/bin/../conf/zoo.cfgStarting zookeepe...原创 2018-11-26 11:30:33 · 6210 阅读 · 1 评论 -
linux用tar解压文件Cannot open: No such file or directory
在阿里云上搭建大数据平台,解压 zookeeper-3.4.10.tar.gz时报错如下:tar: zookeeper-3.4.10: Cannot mkdir: Permission deniedtar: zookeeper-3.4.10/ivysettings.xml: Cannot open: No such file or directorytar: Exiting with f...原创 2018-11-26 11:15:41 · 36725 阅读 · 3 评论 -
The authenticity of host 'izwz9c8l39itikxj328wwuz (IP地址)' can't be established.
在使用SecureCRT远程连接阿里云ECS时,启动hadoop:输入命令:./sbin/start-dfs.sh报错如下:The authenticity of host 'izwz9c8l39itikxj328wwuz (IP地址)' can't be established.分析原因:发现是由于使用了root用户,将用户改为普通用户xxx即可正常启动。...原创 2018-11-26 10:22:49 · 1313 阅读 · 1 评论 -
Spark项目学习-慕课网日志分析-days1-hadoop
1. HDFS架构1 Master(NameNode/NM) 带 N个Slaves(DataNode/DN)HDFS/YARN/HBase 1个文件会被拆分成多个Block NN:1)负责客户端请求的响应2)负责元数据(文件的名称、副本系数、Block存放的DV)的管理 DN:1)存储用户的文件对应的数据块(Block)2)要定期向NN发送心跳信息,...原创 2018-10-06 20:05:37 · 5082 阅读 · 0 评论 -
Bugs-Hadoop源码编译-yum install gcc-c++出错
安装g++时发生错误: yum install gcc-c++ 经过排查发现是本地源有问题,更换为163源。具体步骤如下: 1)先yum clean,然后进入yum源配置目录:cd /etc/yum.repos.d 2)备份系统自带的yum源:mv CentOS-Base.repo CentOS-Base.repo.save 3)下载其他yum源:wget http:...原创 2018-06-27 11:22:07 · 4207 阅读 · 0 评论 -
Hadoop学习-days5-编译源码
1. 配置电脑 重点在于:1)删除eth0,并将eth1改成eth0,并复制物理地址 2)替换物理地址和IP地址 3)修改主机名称 4)打开 /etc/hosts 在其中添加 IP地址:主机名 5)在win7系统中C:\Windows\System32\drivers\etc...原创 2018-06-27 11:20:40 · 5055 阅读 · 0 评论 -
Bugs-完全分布式部署Hadoop-NodeManager启动不成功
出现的问题: 在hadoop103上启动yarn时,102上的NodeManager启动不起来原因在于: 102中的Data/tmp/nm-local-dir的权限属于root解决方法: 改变整个/tmp的授权即可...原创 2018-06-27 11:17:34 · 3857 阅读 · 0 评论 -
Hadoop学习-days4-完全分布式部署Hadoop
1. 首先准备虚拟机 重点在于:1)删除eth0,并将eth1改成eth0,并复制物理地址 2)替换物理地址和IP地址 3)修改主机名称 4)打开 /etc/hosts 在其中添加 IP地址:主机名 5)在win7系统中C:\Windows\System32\drivers\etc路径中,打开Host文...原创 2018-06-27 11:16:06 · 3533 阅读 · 0 评论 -
Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer
Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer在运行MapReducer任务时出现如下问题:2018-07-08 18:47:45,749 WARN [org.apache.hadoop.mapred.MapTask] - Unable to initialize Ma...原创 2018-07-08 18:56:59 · 4204 阅读 · 0 评论 -
Hadoop学习-days4-常用命令
1. Hadoop运行模式 1)本地模式:不需要启动单独进程,直接可以运行,测试和开发时使用 2)伪分布式模式:等同于完全分布式,但只有一个节点 3)完全分布式模式:多个节点一起运行2. Hadoop运行命令解析: bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep i...原创 2018-06-26 15:53:21 · 3529 阅读 · 0 评论 -
Hadoop学习-days4-Hadoop简介
1. 什么是Hadoop 1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构 2)主要解决,海量数据的存储和海量数据的分析计算问题。 2. Hadoop三大发行版本 Apache Cloudera Hortonworks 1)Apache是最原始版本,适合入门学习 2)Cloudera CDH 企业使用最多 兼容性,安全性,稳定性最好 3)Ho...原创 2018-06-26 10:55:31 · 3511 阅读 · 0 评论 -
Kafka单节点部署
一. 单节点单broker的部署和使用1. 启动Zookeeper ./zkServer.sh start 或 zookeeper-server-start.sh config/zookeeper.properties2. 启动Kafka kafka-server-start.sh config/server.properties3. 创建topic ...原创 2018-12-11 11:11:22 · 2655 阅读 · 0 评论