Durian_sir的博客

转载 Linux或者Mac OS下 Scala编译中文出现乱码解决方式

转载 学习Hadoop第十课（MapReduce的原理）

上一节课我们一起学习了RPC简单用法，这节课我们来学习MapReduce，MapReduce可谓是Hadoop当中非常重要的一部分，不学好这部分，我们就无法真正学会Haoop。 那么，首先我们来看一个MapReduce最简单的例子，如下图所示，假如我们要计算一份海量的数据，那么我们应该怎样快速计算出结果呢？ 首先，我们需要知道的是，我们对于一份非常大的文件上传到我们的HDF

原创 学习Hadoop第九课(理解RPC协议)

上节课我们一起学习了如何将Hadoop与Java程序相结合，这节我们共同来学习RPC请求及应用。首先看一下RPC的定义及原理，如下图所示，我们也可以这样简单地理解RPC：RPC就是不同进程间的方法调用。          接下来我们用Java程序和RPC相结合来更好的理解RPC。        首先我们需要定义一个接口类，这个接口类需要由服务端来实现，如下图所示

原创 Linux 环境下安装MySql数据库

在Hadoop开发的时候我们要用到mysql数据库，因此我们有必要学习一下怎样在Linux下安装mysql。 第一步：下载MySQL-client-5.1.73-1.glibc23.x86_64.rpm和MySQL-server-5.1.73-1.glibc23.x86_64.rpm      我们在地址栏输入：http://ftp.ntu.edu.tw/pub/MySQL/Downl

原创 Maven官网的下载与安装（此篇是下载linux版本的，windows同理.zip）

第一步：在百度搜索Maven，我们点击第一个连接，如下图所示。 第二：进入到下图所示的界面后，我们点击左侧菜单的"Download". 第三步：点击上图的"Download"后会进入如下图所示的界面，我们点击"Previous Releases"下的“archives”链接，如下图所示。 第四步：点击上图的"archives"链接后，会进入到如下图所示的界

转载 学习Hadoop的第八课（利用Java接口来操作Hadoop）

上节我们学习了HDFS架构及原理，这节我们来学习如何将Hadoop与Java相结合进行开发，这也是大家学习大数据最后打交道最多的内容，毕竟Hadoop环境的搭建虽然复杂，但是一旦搭建好之后我们的任务便是在这个架构的基础上进行java代码的开发。        首先我们新建一个java工程，这个java工程所使用的JRE要与我们在Hadoop环境所使用的版本一致，避免一些不必要的错误。由于我在

转载 使用NodePad++来编辑服务器的配置文件

我们在学习Hadoop的时候，往往会涉及到很多关于修改配置文件的操作，如果直接在SecureCRT或服务器上操作的话，往往很不灵活，为了更方便的操作配置文件，今天我来说一下如何使用NodePad++来修改我们的配置文件。 第一步：安装NodePad++        这个我就不说了，从百度上搜一个自己安装就好了。 第二步：启动服务器        我这里使用的是虚拟机。

原创 大数据hadoop之Shell编程简单入门

这节课我们一起简单学习一下Shell脚本。      首先我们来新建一个test.sh文件，并在文件内输入一句用来输出的语句，如下所示。 [root@itcast03 ~]# vim test.sh echo '123'       保存上面的内容，我们试着执行一下test.sh，发现会报如下所示的提示，说没有权限执行。 [root@itcast03 ~]# ./test

原创 官网Mysql并配置使用以及如何重装

第一步：在百度搜索"Mysql"，我们点击第一个连接，如下图所示。 第二步：点击上图的链接后我们进入到如下图所示的界面，我们点击"Downloads"子菜单的"Community"，如下图所示。 第三步：点击上图的"Community"之后我们会看到如下图所示的界面，我们点击"MySQL Community Server"，如下图所示。 第四步：点击上图的

原创 hadoop 之 如何从Sqoop官网下载适用于集群的版本

第一步，从百度上搜索Sqoop，我们点击第二条链接，如下图所示。 第二步：点击上图的链接之后，我们会进入到如下图所示的界面，我们点击Latest stable release is 1.4.6后面的"Download"，如下图所示。 第三步：点击上图的"Download"链接之后，我们会进入到如下图所示的界面，这个页面有很多下载地址，我们点击第一个下载地址就行，如下图所

原创 学习Hadoop第七课（HDFS的详细架构原理）

前面一节我们初步学习了HDFS，仅停留在那个阶段是不行的，我们还要深入学习HDFS架构，学习其工作原理，这节课我们便一起来学习HDFS的架构。         首先，我们来看一下Hadoop1.0和Hadoop2.0伪分布式架构下HDFS的组成，如下图所示，我们可以看到，HDFS架构由NameNode(负责管理节点)、DataNode（负责存储数据）、Secondary NameNode（它

转载 学习Hadoop第六课（初识HDFS的基本原理）

文章出处：http://blog.csdn.net/u012453843/article/details/52448995  本人只是自己学习，方便留存自己看，不过这里有不明白或者哪些不对，可以留言交流 上一节我们学习了Hadoop的SSH免密码登录配置和SSH原理，这节我们来进入HDFS的学习，为了避免一开始就说的特别难以理解，我们先简单的说一下HDFS的原理，我们

转载 学习SSH第五课（配置ssh免密码登陆配置和ssh原理）

文章出处：http://blog.csdn.net/u012453843/article/details/52443305   本人只是自己学习，方便留存自己看，不过这里有不明白或者哪些不对，可以留言交流   上一节我们学习了Hadoop的初始化和测试，本节我们学习SSH免密码登录配置和SSH原理。          首先，我们需要明白为什么要设置SSH免密码登录，其原因是

原创 学习大数据Hadoop第四课（Hadoop初始化和测试）

原作出至：http://blog.csdn.net/u012453843/article/details/52433457 上节我们修改了5个配置文件，这节我们开始学习Hadoop初始化和测试，首先我们需要Hadoop的环境变量，输入命令：vim /etc/profile并按回车进入配置文件，如下图所示，我们添加的内容是下面红色圈住的内容。         编辑

转载 学习Hadoop第三课（Hadoop安装与配置）

博客转载地址：http://blog.csdn.net/u012453843/article/details/52431742   本人也是学习作为笔记收藏，希望大家可以多多看博客本人的文章，在这里谢谢博客本人！ 上节我们学习了JDK安装，这节我们学习一下Hadoop的安装及环境配置        首先我们需要到Apache官网下载我们需要的Hadoop版本，Apache产

转载 学习Hadoop第二课（JDK的安装）

转载出至：http://blog.csdn.net/u012453843/article/details/52422736   本人也是为了学习，本来自己打算整理的，可这位博主写的实在太详细了。所以也是作为笔记留存，忘各位大神们不要吐槽 上一节课我们学习了虚拟机和Windows互相Ping通的内容，这节课我们来学习如何安装JDK。          既然要安装JDK，我们首

转载 学习Hadoop的第一课（开始进入大数据的世界）

文章转载出自：http://blog.csdn.net/u012453843/article/details/52411019#reply 近来由于工作需要，开始学习了Hadoop，第一节课便是搭建环境，我用的是Centos6.8版本（现在最新的是Centos7.2版本，但是由于Centos7与Centos6版本相比，做了很大的变动，而且网络上很少有讲解Centos7的视频，因此