![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 60
cainiao22222
这个作者很懒,什么都没留下…
展开
-
hadoop生态圈(HBase、HDFS、 Pig、Hive、Sqoop)——小白入门笔记
Hadoop生态圈上图为学习视频中一张Hadoop生态圈截图HDFS:分布式文件系统,底层数据存储Hbase:分布式列式数据库,适用实时数据分析,属于NoSql数据库Hive:数据库仓库工具,适用于离线数据分析,可以用于计算趋势或网站日志Pig:数据流语言,用于简化Hadoop任务,对MapReduce进行更高层次的封装,执行效率快,适用于实时分析Sqoop:用于传统数据...原创 2018-08-22 11:37:30 · 1690 阅读 · 2 评论 -
Hadoop安装及遇到问题解决——1.安装
本人的安装时完全参考林子雨老师的教程,转载自厦门大学数据库实验室 / 给力星一、软件选择Hadoop是基于Java语言开发的,具有很好跨平台的特性。Hadoop的所要求系统环境适用于Windows,Linux,Mac系统,我们推荐选择使用Linux或Mac系统。Mac系统存在于苹果电脑上,由于Mac系统对硬件有定制化要求,没法在Windows上使用虚拟机和双系统来使用Mac系统,我们下面也...转载 2018-08-22 14:39:51 · 5415 阅读 · 1 评论 -
Hadoop安装及遇到问题解决——2.Linux 报错:Network error: Connection refused
1、查看SSH服务有没有安装 #rpm -qa | grep ssh 2、查看SSH服务有没有开启 #/etc/init.d/sshd status 安装SSH服务sudo apt-get install openssh-server开启服务ssh localhost此时会有提示(SSH首...转载 2018-08-22 14:49:36 · 2237 阅读 · 0 评论 -
Hadoop安装及遇到问题解决——ubuntu : appstreamcli 问题
sudo apt-get update 时候出现错误转自:https://www.cnblogs.com/EasonJim/p/7343892.html报错如下:Reading package lists... DoneE: Problem executing scripts APT::Update::Post-Invoke-Success'if /usr/bin/test -...转载 2018-08-22 15:04:42 · 890 阅读 · 0 评论 -
Hadoop学习之HDFS——小白入门笔记
一、分布式文件系统 1.分布式文件系统解决问题:海量数据的高效存储2.分布式文件系统是将文件分布存储到多个计算机节点上。(此处的计算机为普通计算机)3.分布式文件系统的多个节点分为两类: 名称节点(主节点):文件、目录的操作(创建、删除、重命名等),数据节点与文件块的映射关系 数据节点(从节点):数据的读取与存储 二、HDFS概念 1.名称节点:管理分...原创 2018-10-22 16:04:04 · 501 阅读 · 0 评论 -
ubuntu编译hadoop-2.6.5源码
1.编译流程参考博客https://blog.csdn.net/xingyyn78/article/details/810432632.问题解决参考博客 linux安装maven https://blog.csdn.net/xingyyn78/article/details/81043454 protobuf安装 https://blog...原创 2019-06-16 11:03:10 · 159 阅读 · 0 评论