![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
子墨将
比天高比海阔
展开
-
【大数据系列】之Hadoop-MapReduce学习笔记
Hadoop之MapReduce 分布式运算程序 特点: 良好扩展性 高容错性 PB级以上的离线处理 缺点: 不擅长实时计算 不擅长流式计算 不擅长DAG(有向无环图)计算 一、MapReduce进程 MrAppMaster:负责整个程序的过程调度及状态调度 MapTask:负责Map阶段的整个数据处理流程 ReduceTask:负责Reduce阶段的整个数据处理流程 二、WordCount程序例子 词频统计 // Map类,继承于org.apache.hadoop.mapreduce.原创 2021-12-13 22:04:24 · 1157 阅读 · 0 评论 -
【大数据系列】之Hadoop-HDFS学习笔记
Hadoop之HDFS 分布式文件系统 特点: 高容错性:多副本策略 高扩展性:可部署在廉价的机子 一、组成架构 NameNode 存储数据块存放位置的元数据(映射信息) 配置副本策略 管理HDFS的命名空间 处理Client的请求 DataNode 数据存储的节点,以文件块的形式进行存储,分布在不同机架,节点上 执行数据块的读/写任务 块的大小可以通过配置参数 ( dfs.blocksize)来规定,默认大小在Hadoop2.x/3.x版本中是128M,1.x版本中是64M,大小的设置原创 2021-12-05 22:41:04 · 1396 阅读 · 1 评论 -
【大数据系列】之Hive DDL and DML
Hive DDL and DML Hive定义了一套自己的SQL,简称HQL,它与关系型数据库的SQL略有不同,但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。 DDL操作(数据定义语言)包括:Create、Alter、Show、Drop等。 (1)create database- 创建新数据库 (2)alter database - 修改数据库 (3)drop d...原创 2019-11-25 09:46:24 · 218 阅读 · 0 评论 -
【大数据系列】之 Hive本地部署(Mysql)
Hive本地部署(Mysql) 1.CentOs6.5安装mysql 1.1查看是否安装,是执行清除 '查看是否安装过mysql' rpm -qa | grep mysql '有则清除' rpm -e mysql 1.2yum安装mysql yum -y install mysql mysql-server mysql-devel 安装 安装成功截图 1.3查看mysql-server...原创 2019-11-23 22:18:59 · 362 阅读 · 1 评论 -
【大数据系列】之Hadoop Shell常用命令
Hadoop Shell常用命令 1.创建文件夹 hdfs dfs -mkdir /test 2.创建文件 hdfs dfs -touchz /test/file.text 3.查看目录下的文件 hdfs dfs -ls /test '迭代查看该目录下的所有文件与目录' hdfs dfs -ls -R /test 4.文件的移动、复制 "移动" hdfs dfs -mv /test/...原创 2019-11-20 20:59:03 · 443 阅读 · 0 评论 -
【大数据系列】之Hadoop伪分布安装
Hadoop伪分布安装 1.创建用户与用户组 创建一个用户,名为momo,并为此用户创建home目录,此时会默认创建一个与momo同名的用户组。 > sudo useradd -d /home/momo -m momo 为momo用户设置密码,执行下面的语句 > sudo passwd momo 切换到momo用户下操作 > su - momo 2.配置SSH免密码登录 ...原创 2019-11-19 20:11:30 · 222 阅读 · 0 评论