- 博客(13)
- 资源 (37)
- 收藏
- 关注
RSS订阅转载 学习Hadoop第十三课（Hadoop学习必备技能之远程debug）
上节课我们学习了Hadoop序列化机制、Linux安装Eclipse及创建快捷图标、使用Maven开发 ，这节课我们一起学习Hadoop的必备技能----远程调试。 相信大家都明白远程调试的重要性，首先我们来了解一下JPDA。 JPDA 简介 Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技...
2018-04-26 17:15:49
448
转载 学习Hadoop第十二课（Hadoop序列化机制、Linux安装Eclipse及创建快捷图标、使用Maven开发）
上节课我们一起学习了MapReduce的一个简单实例，这节课我们一起来学习Hadoop的序列化机制。 首先我们来学习一下，什么叫做序列化，序列化是指把结构化对象转换成字节流，这样做的目的当然是便于在网络中传输。那么什么叫做反序列化？相信大家也知道了，反序列化，顾名思义，就是序列化的逆过程，也就是将字节流转回结构化对象的过程。 我们非常熟悉的序列化莫过于java的java.i...
2018-04-26 17:14:30
371
转载 学习Hadoop第十一课（MapReduce的实例---WordCount）
上节课我们一起学习了MapReduce大的框架及原理，单看理论的话很容易懵圈，这节我们便一起学习一个MapReduce的简单例子，通过例子来理解原理从来都是最好的学习方法。 首先我们来简单操作一个入门级的例子，就是统计一下某个文件当中的每个单词出现的次数。我们在mapreduce目录下有一个words文件，如下图红色圈住的内容，在words文件当中我们看到如下图所示的内容（查看命令是m...
2018-04-26 17:12:43
508
转载 Hadoop学习第十课（MapReduce）
上一节课我们一起学习了RPC简单用法，这节课我们来学习MapReduce，MapReduce可谓是Hadoop当中非常重要的一部分，不学好这部分，我们就无法真正学会Haoop。 那么，首先我们来看一个MapReduce最简单的例子，如下图所示，假如我们要计算一份海量的数据，那么我们应该怎样快速计算出结果呢？ 首先，我们需要知道的是，我们对于一份非常大的文件上传到我们的HD...
2018-04-11 09:05:52
477
转载 Hadoop学习第九课（RPC）
上节课我们一起学习了如何将Hadoop与Java程序相结合，这节我们共同来学习RPC请求及应用。首先看一下RPC的定义及原理，如下图所示，我们也可以这样简单地理解RPC：RPC就是不同进程间的方法调用。 接下来我们用Java程序和RPC相结合来更好的理解RPC。 首先我们需要定义一个接口类，这个接口类需要由服务端来实现，如下图所示 接下来我们定义RPCS...
2018-04-11 09:04:44
381
1
转载 Hadoop学习第八课（利用Java接口来操作Hadoop）
上节我们学习了HDFS架构及原理，这节我们来学习如何将Hadoop与Java相结合进行开发，这也是大家学习大数据最后打交道最多的内容，毕竟Hadoop环境的搭建虽然复杂，但是一旦搭建好之后我们的任务便是在这个架构的基础上进行java代码的开发。 首先我们新建一个java工程，这个java工程所使用的JRE要与我们在Hadoop环境所使用的版本一致，避免一些不必要的错误。由于我在搭建Ha...
2018-04-11 09:03:52
1762
转载 Hadoop学习第七课(HDFS架构原理)
前面一节我们初步学习了HDFS，仅停留在那个阶段是不行的，我们还要深入学习HDFS架构，学习其工作原理，这节课我们便一起来学习HDFS的架构。 首先，我们来看一下Hadoop1.0和Hadoop2.0伪分布式架构下HDFS的组成，如下图所示，我们可以看到，HDFS架构由NameNode(负责管理节点)、DataNode（负责存储数据）、Secondary NameNode（它不是Na...
2018-04-10 09:23:13
348
转载 Hadoop学习第六课（初识HDFS原理）
上一节我们学习了Hadoop的SSH免密码登录配置和SSH原理，这节我们来进入HDFS的学习，为了避免一开始就说的特别难以理解，我们先简单的说一下HDFS的原理，我们来看一张分布式文件系统架构图（如下图所示），我们已经知道HDFS的NameNode是管理者，DataNode是被管理者，下面的这个例子是，假如我们想向HDFS分布式系统上传一个大小为200M的日志文件，那么HDFS系统是如何工作的呢？...
2018-04-10 08:21:03
507
原创 Hadoop学习第五课（配置ssh免密码登陆配置和ssh原理）
上一节我们学习了Hadoop的初始化和测试，本节我们学习SSH免密码登录配置和SSH原理。 首先，我们需要明白为什么要设置SSH免密码登录，其原因是我们在开启hadoop的时候需要多次输入yes和root密码，这是我们所不能忍受的，我们迫切需要实现免登录的功能。 为了让大家更能明白设备之间的交互，这里我们需要两台虚拟机，我们已经有一台了，现在我们要做的便是再...
2018-04-10 06:33:23
611
转载 学习Hadoop第三课（Hadoop安装与配置）
上节我们学习了JDK安装，这节我们学习一下Hadoop的安装及环境配置 首先我们需要到Apache官网下载我们需要的Hadoop版本，Apache产品官网是：http://archive.apache.org/dist/如下图所示，我们可以看到有很多种产品，这里我们需要的是Hadoop因此我们点击hadoop。 点击hadoop后会进入如下图所示的页面，...
2018-04-09 13:31:42
827
1
转载 Hadoop第二课（安装JDK）
上一节课我们学习了虚拟机和Windows互相Ping通的内容，这节课我们来学习如何安装JDK。 既然要安装JDK，我们首先便要下载JDK的安装包，没有安装包的童鞋可以到：http://pan.baidu.com/s/1sl3rpPb这个网址下载。#linux 下载jdk命令wget --no-check-certificate --no-cookies --header...
2018-04-09 12:55:47
403
转载 使用Eclipse来开发python脚本
一、安装python1.访问https://www.python.org/downloads/，可以看到如下图所示界面2.点击上图的"Download"，可以看到如下图所示的界面：3.下载python-2.7.14.amd64.msi文件到本地E盘Python目录下，如果E盘没有Python目录可以建一个。4.安装Python，安装目录也选择E:\Python5.安装完Python之后，我们配置下...
2018-04-09 11:16:58
185
转载 Hadoop学习第一课（虚拟机安装）
近来由于工作需要，开始学习了Hadoop，第一节课便是搭建环境，我用的是Centos6.8版本（现在最新的是Centos7.2版本，但是由于Centos7与Centos6版本相比，做了很大的变动，而且网络上很少有讲解Centos7的视频，因此我选择了Centos6的版本），关于如何安装虚拟机和Centos6的内容请大家参照"http://www.jb51.net/softjc/340570.htm...
2018-04-09 11:04:41
536
dubbo监控中心war包
2018-06-27
teamviewer13完美破解
2018-06-06
jdk-7u80-windows-x64
2018-04-05
java tomcat 监控程序
2017-10-18
MySQL5.1参考文档
2015-04-27
hive安装包
2018-07-09
pagehelper
2018-07-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人