![](https://img-blog.csdnimg.cn/20201031161006638.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据学习笔记
文章平均质量分 92
大数据学习中的相关知识记录。
青鸟飞雪
在读研究生
展开
-
Zookeeper基础学习知识记录
Zookeeper 学习笔记 根据尚硅谷的视频所作的相关知识记录,视频连接如下: https://www.bilibili.com/video/BV1PW411r7iP 一、Zookeeper 安装 官网:https://zookeeper.apache.org/,这里我使用的版本是3.4.10。 1.1 本地模式部署(测试) 1. 安装 (1)安装 jdk(Hadoop集群已经安装好 )。 (2)拷贝 zookeeper-3.4.10 到我们的 Hadoop 集群 /opt/software 目录下。原创 2020-12-03 20:50:48 · 179 阅读 · 0 评论 -
hadoop学习过程中的知识记录(二)
Hadoop学习(二) 七、MapReduce 7.2MapReduce序列化 7.2.4NLineInputFormat 案例 map进程不再按照 block 块去处理切片划分,而是按照指定的行数N来划分。 切片数 = 文件的总行数 / N(如果没有整除,切片数 = 商 + 1) 键值对和 TextInputFormat 生成的键值对是一样。即 key 为偏移量, value 为一行的内容。 1.需求:对单词进行统计,且没三行划分一个切片。 (1)输入数据: (2)期望的结果:切片数为 6 2.实现 (1原创 2020-11-26 21:30:28 · 371 阅读 · 0 评论 -
hadoop学习过程中的知识记录
Hadoop学习 1.本地模式 2.伪分布模式 2.1启动HDFS并运行MapReduce 1.配置hadoop-env.sh a.linux下获取java JDK安装路径 b.修改JAVA_HOME路径 export JAVA_HOME=/opt/module/jdk1.8.0_144 2.配置core-site.xml: 路径:etc/hadoop/core-site.xml <configuration> <!-- 指定HDFS的NameNode原创 2020-10-30 17:03:19 · 564 阅读 · 4 评论