![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据实践学习
周五见
Github地址:https://github.com/danielzhou
展开
-
Hive数据倾斜原因及解决方案
0. 前言参考:hive数据倾斜原理与解决方案https://blog.csdn.net/s646575997/article/details/515106611. 场景2. 原因3. 解决方案原创 2021-07-19 23:54:21 · 237 阅读 · 0 评论 -
Hadoop2.7.6源码学习(1)——前期准备
在hadoop官网下载Source download版本的文件,然后解压到 ~/hadoop-src/文件夹下,会看到一个BUILDING.txt文件,按照里面的要求,下载一些编译源码所需的包,* JDK 1.7 (我用的是1.8,早就配置好了,跳过)* Maven $ sudo apt-get -y install maven* Native libraries $ sudo...原创 2021-07-19 23:53:37 · 265 阅读 · 0 评论 -
Hadoop-0.20.2源码学习(3)——Configuration类
参考:JeffreyZhou的博客园《Hadoop权威指南》第四版0 前言在之前源码初窥中,我们已经找到了主要几个的main函数入口,这里我们列一列:FsShell – mainorg.apache.hadoop.fs.FsShellNameNode – mainorg.apache.hadoop.hdfs.server.namenode.NameN...原创 2018-11-29 22:07:11 · 162 阅读 · 0 评论 -
MapReduce框架学习(1)——输入、输出格式
参考:JeffreyZhou的博客园在前面的学习中,完成了几件事:搭建并测试Hadoop完全分布式环境;在master节点上配置Hadoop的Eclipse开发环境上一篇博文,Eclipse的开发环境搭建中,博文最后终于揭开了WordCount的源代码程序,这是一个小程序,但其中也包括了Map/Reduce的大体框架,这个系列博文就来捋一捋整个Map/Reduce的流程及其作用。...原创 2018-10-21 22:14:39 · 1267 阅读 · 0 评论 -
Hadoop-0.20.2源码学习(4)——初见Main函数及打印package信息
参考:JeffreyZhou的博客园《Hadoop权威指南》第四版4.1 main函数概览根据前一节中整理的main函数位置,我们先大概的打开main函数看一下。NameNode.java中的main函数:public static void main(String args[]) { try { StringUtils.startupShutdownMe...转载 2018-12-02 21:20:24 · 200 阅读 · 0 评论 -
Hadoop-0.20.2源码学习(5)——初识DataNode启动过程
参考:JeffreyZhou的博客园《Hadoop权威指南》第四版上一篇文章中讲到,DataNode.java中的main函数:public static void main(String args[]) { try { StringUtils.startupShutdownMessage(DataNode.class, args, LOG); Dat...原创 2018-12-05 20:46:59 · 230 阅读 · 0 评论 -
Spark学习中的问题汇总......
第一次运行 run-example SparkPi时,Error spark.SparkContext:Error initializing SparkContext…错误描述:在安装好Spark后,就尝试跑一下自带的示例程序:$ ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"原创 2019-01-01 15:36:06 · 1655 阅读 · 1 评论 -
《Hive编程指南》学习随笔(1)——基础补充
0. 前言其实还没有很系统的学过Hive,是时候要系统的研究一下了。该系列文章针对的是用过Hive基础的人,不会说太常见的知识,目的在于记录一些平时没有注意到的地方,或者需要深入学习的地方。1. Hive在HDFS上的数据存储参考来源:Hive的数据存储大家都知道Hive是基于Hadoop上的数据仓库,也知道Hive的数据是存储在HDFS上的,可是,到底是怎么个存储形式呢?今天探究...原创 2019-06-30 22:29:28 · 271 阅读 · 0 评论 -
Flink学习入门(5)——状态管理与容错
参考:Flink v1.8-State & Fault Toleranceflink-china/flink-training-course0. 前言翻译 2019-08-18 10:56:52 · 565 阅读 · 0 评论 -
Hadoop-0.20.2源码学习(1)——源码初窥
参考:JeffreyZhou的博客园《Hadoop权威指南》第四版转载 2018-11-18 13:45:09 · 310 阅读 · 0 评论 -
Hadoop-0.20.2源码学习(2)——源码学习环境搭建
参考:JeffreyZhou的博客园《Hadoop权威指南》第四版0 本文前提在上一篇文章中,通过启动脚本xxx.sh文件的探索,对hadoop的源码有了一个初步的认识,发现最终都是运行java程序,所以在继续深入了解之前,先来搭建一个用来查看hadoop中,java源代码的环境,所以这本文主要在于在eclipse中搭建一个合适的项目。2.1 创建Eclipse项目废话不多说,就...原创 2018-11-18 16:00:45 · 179 阅读 · 0 评论 -
MapReduce框架学习(4)——倒排索引程序实战
参考:JeffreyZhou的博客园《Hadoop权威指南》第四版0 倒排索引前面我们运行过WordCount例子,得到的单词计数结果,如果输入3篇文档,得到的结果是这3个文档所有的单词总数计数,得到如下这样但是,如果我想知道“hello”这个单词在各个文档中的计数情况呢?...原创 2018-10-27 13:33:14 · 394 阅读 · 0 评论 -
在VMware虚拟机上分布式安装Hadoop架构(1)——准备工作
0、主要参考教程1 、厦门大学数据库实验室2、JeffreyZhou的博客园1.1、 Ubuntu系统安装服务器为Windows Server 2012 R2系统,在此服务器上,用VMware Workstation 14 Pro 虚拟机安装Ubuntu系统。其详细配置信息如图所示:先配置一个Slaver系统即可,配置完成后利用虚拟机的克隆功能,创建Slaver231.2 、创建...原创 2018-09-19 21:06:17 · 868 阅读 · 0 评论 -
在VMware虚拟机上分布式安装Hadoop架构(2)——Master节点的hadoop安装配置
0、主要参考教程1 、厦门大学数据库实验室2、JeffreyZhou的博客园00 大概步骤1、在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境2、在 Master 节点上安装 Hadoop,并完成配置3、在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境4、将 Master 节点...原创 2018-10-13 16:33:40 · 1250 阅读 · 0 评论 -
在VMware虚拟机上分布式安装Hadoop架构(3)——Slave节点的hadoop安装配置
0、主要参考教程1 、厦门大学数据库实验室2、JeffreyZhou的博客园00 大概步骤1、在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境2、在 Master 节点上安装 Hadoop,并完成配置3、在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境4、将 Master 节点...原创 2018-10-14 15:48:24 · 1682 阅读 · 0 评论 -
在VMware虚拟机上分布式安装Hadoop架构(4)——简单运行测试
0、主要参考教程1 、厦门大学数据库实验室2、JeffreyZhou的博客园4.1 启动hadoop集群在前3篇文章中,依次安装配置了一个master节点和3个slave节点,其实slave节点配置好后基本就不需要再关注了,对于目前可以看到的学习过程来说,以后基本都只需要在master节点上进行操作就行了。首次启动需要先在 Master 节点执行 NameNode 的格式化:$ h...原创 2018-10-15 21:52:18 · 789 阅读 · 0 评论 -
Hadoop开发环境搭建之Eclipse配置
0 主要参考教程1 、厦门大学数据库实验室2、JeffreyZhou的博客园整个hadoop是基于Java开发的,所以要对hadoop进行一些稍微底层一点的开发,还是得编写java程序。那就必然少不了eclipse这一开发工具了。1 安装Eclipse1.1 在 Ubuntu 中安装 Eclipse,可从 Ubuntu 的软件中心直接搜索安装,在桌面左侧任务栏,点击“Ubuntu ...原创 2018-10-21 16:39:17 · 2137 阅读 · 0 评论 -
MapReduce框架学习(2)——Map/Reduce及 Shuffle前后
参考:JeffreyZhou的博客园《Hadoop权威指南》第四版0 Map/Reduce大致流程输入(input): 将输入数据分成一个个split,并将spilt进一步拆成<key,value>形式;映射(map):根据输入的<key,value&原创 2018-10-24 22:18:04 · 944 阅读 · 0 评论 -
Hadoop学习中的一些概念区分
1. Namenode、Datanode、Jobtracker、Tasktracker区别hadoop的集群是基于master/slave模式,namenode和jobtracker属于master,datanode和tasktracker属于slave,master只有一个,而slave有多个。SecondaryNameNode内存需求和NameNode在一个数量级上,所以通常sec...原创 2018-10-24 22:24:03 · 168 阅读 · 0 评论 -
MapReduce框架学习(3)——Job的创建及配置
参考:JeffreyZhou的博客园《Hadoop权威指南》第四版0一个MR作业,包括三点:输入数据MR程序配置信息前面两篇学习了数据格式和MR过程(map函数和reduce函数),那么今天再讲一下配置信息,是怎么把 数据 和 程序结合起来的。3.1 代码打算对照代码来讲解,这样可能要有逻辑一点,不至于讲到最后都不知道自己的线索在哪。先贴上WordCount中的Job...原创 2018-10-27 13:31:48 · 2827 阅读 · 0 评论 -
Hadoop实践学习中的问题汇总(持续补充)
1. 环境及配置问题2. 程序运行问题2.1 WordCount运行时显示WordCount$TokenizerMapper not found 原因:原教程说,将所有修改过的/usr/local/hadoop/etc/hadoop中的文件放到eclipse工程的src目录下,但是教程使用的是伪分布式,我使用的是虚拟机搭建的完全分布式,将core-site.xml、hdfs-sit...原创 2018-09-19 21:03:58 · 485 阅读 · 0 评论