Hadoop入门学习笔记

最新推荐文章于 2024-01-04 22:51:46 发布
最新推荐文章于 2024-01-04 22:51:46 发布
阅读量113 收藏
点赞数
分类专栏： 大数据技术学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39850372/article/details/98722536
版权

1.Hadoop是什么？

Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案

Hadoop=HDFS（分布式文件系统）+ MapReduce（分布式计算）

可以用来搭建大型数据仓储，实现PB级的数据存储、处理、分析、统计等业务

2.Hadoop的核心？

  • HDFS分布式文件系统：存储是大数据的基础，存储海量的数据
  • MapReduce编程模型：分布式计算是大数据应用的解决方案，并行处理框架，实现任务分解和调度。

 

冰秋
关注
专栏目录
Hadoop入门学习笔记——二、在虚拟机里部署HDFS集群
faith306
12-23 1850
3、执行上述步骤之后，我们可以在我们自己的电脑（非虚拟机）上查看 HDFS WEBUI（即HADOOP管理页面），可以通过访问namenode所在服务器的9870端口查看，在本案例中因为namenode处于node1虚拟机上，所以可以访问。PS：因为之前我们已经配置了本机的hosts文件，所以这里可以使用node1访问，其实这个地址对应的就是http://192.168.88.101:9870/。为了保存刚部署好的集群，在后续如果出现无法解决的问题，不至于重新部署一遍，使用虚拟机快照的方式进行备份。
Hadoop入门学习笔记——一、VMware准备Linux虚拟机
faith306
12-23 1607
5、之后一直下一步、完成，然后虚拟机开始自己安装，直至安装完成，此过程视个人电脑和网络情况可能需要半小时左右，中间不用任何操作，待系统安装完毕后，虚拟机会自动重启，看到如下界面，代表安装成功。4、重命名虚拟机名称为node1，选择克隆出来的虚拟机存放的路径，然后点击“完成”按钮，VMware就会克隆出一个一摸一样的虚拟机，此过程很快，一般3~5秒的样子；2、在VMware中，在左侧虚拟机上右键，选择“快照”-“拍摄快照”，填写快照名称和备注，创建虚拟机快照；至此，免密登录配置完成。
Hadoop入门学习笔记——三、使用HDFS文件系统
faith306
12-23 1954
nfs.exports.allowed.hosts配置项的值为192.168.88.1 rw，表示NFS允许连接的客户端的IP和权限，rw表示具有读和写的权限，IP部分也可以使用*表示所有IP均可连接（这里的192.168.88.1地址是本地电脑在虚拟机网络中的IP地址，如果这里不是虚拟机，而是真实服务器，则需要使用本机对应的公网IP或局域网IP），同时如果有多个电脑需要连接，也可以写成192.168.88.1 rw;dfs.replication属性用于配置数据块的默认副本数量，该配置默认为3。
Hadoop入门学习笔记——五、在虚拟机中部署Hive
faith306
12-23 2446
Hive的运行依赖于Hadoop（HDFS、MapReduce、YARN都依赖），同时涉及到HDFS文件系统的访问，所以需要配置Hadoop的代理用户，即设置hadoop用户允许代理（模拟）其它用户。javax.jdo.option.ConnectionURL 表示Hive所用到的存储元数据的关系型数据库的连接地址；hive.server2.thrift.bind.host 表示Hive的server 2绑定的主机；javax.jdo.option.ConnectionPassword 表示数据库密码；
Hadoop入门学习笔记——四、MapReduce的框架配置和YARN的部署
faith306
12-23 2526
hdfs://8020/output/wc 表示参数2，在本程序中是统计结果输出的文件夹，这里写明了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径），hdfs://node1:8020/input/ 表示参数1，在本程序中是待统计的文件夹，这里写了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径）；mapreduce.map.env 表示Map HOME的路径，这里设置为HADOOP_HOME相同路径；
Hadoop入门学习笔记——七、Hive语法
faith306
12-23 1928
然后再查看SDS表中的数据，会发现SD_ID为14的数据，其对应的LOCATION的值为hdfs://node1:8020/user/hive/warehouse/myhive.db/score3/year=2019/month=10/day=01，通过这两个表实现了分区和HDFS系统中文件夹的对应，同时，也可以看到分区值已经变更了，但是HDFS中的物理存储路径没有变化。创建一个外部表，表名为test_ext1，由2个字段id和name构成，该表的数据分隔符为\t，在HDFS系统中的存储位置为。
Hadoop入门学习笔记（汇总）
faith306
11-29 1839
Hadoop学习笔记
Hadoop入门学习笔记——六、连接到Hive
faith306
12-23 1531
命令可以查看，下图test文件夹表示刚才创建的test表（一个hive库就是一个HDFS系统中的文件夹，一个表也是HDFS系统中的一个文件夹，default库下的表直接体现为/user/hive/warehouse下的文件夹，其他自定义库也是/user/hive/warehouse下的文件夹，然后其库内的表，是下一层的文件夹）；6、Hive中数据库和数据的存放路径位于HDFS文件系统的/user/hive/warehouse路径下，该路径下，每个Hive库中的表都是一个文件夹，使用。
Hadoop入门学习笔记——八、数据分析综合案例
faith306
01-04 2286
聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的发展决策提供精确的数据支撑。我们将基于一个社交平台App的用户数据，完成相关指标的统计分析并结合BI工具对指标进行可视化展现。
学习笔记(01):Hadoop大数据从入门到精通-Hadoop的介绍及基本概念
01-20
在进入大数据领域时，Hadoop 是一个不可或缺的关键概念。本文将深入探讨Hadoop的基本概念及其在大数据处理中的重要性。...对于想要深入理解和掌握大数据技术的人来说，学习Hadoop是至关重要的第一步。
Hadoop入门学习笔记_day01（大数据的相关概念 ）
不再的blog
03-11 550
一、大数据的相关概念： （一）大数据，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到获取、管理、处理、并整理成为帮助企业经营决策更积极的资讯。 随着技术的不断发展，符合大数据标准的数据集容量也会增长 不同行业使用的软件和数据集可能差别较大 大数据在今天不同行业的范围可以从十几TB到几PB （二）大数据的四个特点–4Vs 大量：数据量大，从TB级别跃升到P...
numexpr-2.8.3-cp38-cp38-win_amd64.whl
10-14
numexpr-2.8.3-cp38-cp38-win_amd64.whl
ujson-5.3.0-cp311-cp311-win_amd64.whl
10-14
ujson-5.3.0-cp311-cp311-win_amd64.whl
基于MATLAB车牌识别程序技术实现面板GUI.zip
最新发布
10-14
vos3000
RJFireWall-maste赛资源
10-14
RJFireWall-maste赛资源
msgpack-1.0.4-cp39-cp39-win_amd64.whl
10-14
msgpack-1.0.4-cp39-cp39-win_amd64.whl
大数据Hadoop学习笔记深度解析与就业指南
本资源是一份全面的大数据学习笔记汇总，主要关注于Hadoop技术的学习和发展。笔记内容分为六个部分： 1. **HADOOP入门** 部分首先介绍了大数据课程的基本内容，包括课程概述、学习建议、就业前景和Hadoop的发展规划...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值