![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop入门学习笔记
渣男程序员007
这个作者很懒,什么都没留下…
展开
-
Hadoop入门学习笔记-第六天(hive数据库命令相关操作)
hive命令行操作/user/hive/warehouse(hdfs目录))说明:hive创建的数据库和数据库表都存在hdfs,一般默认目录为:/user/hive/warehouse1…创建hive的数据库1.hive创建数据库的最简单写法和mysql差不多:create database foo;2.仅当名为foo的数据库当前不存在时才创建:create database if not exists foo;3.创建数据库时指定位置,这个位置一般是在hdfs上的位置:(可以忽略这个操作,原创 2020-07-02 18:56:56 · 279 阅读 · 0 评论 -
Hadoop入门学习笔记-第五天(hadoop-hive安装部署与配置笔记)
1.准备安装包:MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundlemysql-connector-java-5.1.39.jar(驱动,需要放入/hive/lib)apache-hive-1.2.1-bin.tar.gz2.安装mysql 数据用于储存元数据,hive自带Derby,但该数据库不稳定,使用mysql作为元数据管理1). 只需要安装在集群里面的一台节点上即可,此处选择hadoop1节点2). 在Hadoop1上安装mariadbyum原创 2020-07-02 18:55:43 · 666 阅读 · 0 评论 -
Hadoop入门学习笔记-第四天(wordCount实例代码编写笔记)
1.新建一个maven项目2.pom文件中引入以下jar包org.apache.hadoophadoop-client2.7.3org.apache.hadoophadoop-common2.7.3org.apache.hadoophadoop-hdfs2.7.3org.apache.hadoophadoop-client2.7.33. 可以装一个hadoop-eclipse插件,不是必须,插件装成功后,可以在资源目录中查看 hadoop集群地址4.创建map原创 2020-07-02 18:54:55 · 345 阅读 · 0 评论 -
Hadoop入门学习笔记-第三天(Yarn高可用集群配置及计算案例)
什么是mapreduce首先让我们来重温一下 hadoop 的四大组件:HDFS:分布式存储系统MapReduce:分布式计算系统YARN: hadoop 的资源调度系统Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析 应用”的核心框架Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个 hadoop 集群原创 2020-07-02 18:53:51 · 486 阅读 · 0 评论 -
Hadoop入门学习笔记-第二天 (HDFS:NodeName高可用集群配置)
说明:hdfs:nn单点故障,压力过大,内存受限,扩展受阻。hdfs ha :主备切换方式解决单点故障hdfs Federation联邦:解决鸭梨过大。支持水平扩展,每个nn分管一部分目录,所有nn共享dn资源。使用JN集群保证数据一致性,使用zk集群解决主备切换1.若使用主备节点,常常存在的问题:强一致性,若一致性。强一致性(同步):nn主节点必须等到nn副本返回成功后,才能向客户端返回成功。主和副本之间可能会有如网络延迟、阻塞等问题,就造成了nn的不可用,违背了HA初衷。弱一致性(异步):原创 2020-07-02 18:52:25 · 1233 阅读 · 0 评论 -
Hadoop入门学习笔记-第一天 (HDFS:分布式存储系统简单集群)
1.准备三台服务器(nameNode10、dataNode20、dataNode30)2.配置三台机器网络ip分别为(192.168.18.10、192.168.18.20、192.168.18.30)2.1 进入/etc/sysconfig/network-scripts 修改 ifcfg-ens33 文件,定义网卡 信息如下,三台机器都要配置ONBOOT=yesIPADDR=192.168.18.30GATEWAY=192.168.18.2DNS1=114.114.114.1142.2配原创 2020-07-02 18:47:46 · 209 阅读 · 0 评论