u012453843的专栏

原创 使用NodePad++来编辑我们服务器的配置文件

我们在学习Hadoop的时候，往往会涉及到很多关于修改配置文件的操作，如果直接在SecureCRT或服务器上操作的话，往往很不灵活，为了更方便的操作配置文件，今天我来说一下如何使用NodePad++来修改我们的配置文件。第一步：安装NodePad++       这个我就不说了，从百度上搜一个自己安装就好了。第二步：启动服务器       我这里使用的是虚拟机。第三步：安装Np

原创 学习Hadoop第二十五课（单节点HBase建表、插入数据及查询）

上节课我们一起学习了HBase的一些理论知识还搭建好了单节点的HBase，那么这节课我们一起来学习一下HBase是如何建表，如何插入数据以及如何查询数据的。大家如果没看过上节课内容的，可以到：http://blog.csdn.net/u012453843/article/details/52970967这篇博客进行学习。第一部分：建表       我们使用命令行的方式来进行建表，插入数据和

原创 学习Hadoop第二十四课（HBase 简单入门）

上节课我们一起简单学习了Shell脚本，这节课我们来简单学习一下HBase，首先我们来看一下HBase的简介，如下图所示。      接下来我们一块儿看一下HBase的几个概念，首先来看第一个概念：Row Key，如下图所示，Row Key顾名思义，就是把一行当做主键，由于HBase建立了索引，所以我们根据行号可以迅速定位的那一行，我们还可以通过Row Key的range来定位数据，也就是

原创 学习Hadoop第二十三课（Shell简单入门）

上节课我们一起学习了Sqoop（数据迁移工具），这节课我们一起简单学习一下Shell脚本。     首先我们来新建一个test.sh文件，并在文件内输入一句用来输出的语句，如下所示。[root@itcast03 ~]# vim test.shecho '123'      保存上面的内容，我们试着执行一下test.sh，发现会报如下所示的提示，说没有权限执行。[root@itc

原创 利用MsOffice将PPT转换成图片

最近在公司做一个环境检测方面的工作，其中检测的一项内容是MsOffice由PPT转换成Image的功能，既然要在Eclipse使用该功能，就需要有相应的jar包，我们用到的jar包便是jacob.jar，那么，我们怎么下载这个jar包呢？第一步：打开必应浏览器，网址：www.bing.com，然后在搜索框中输入jacob.jar，如下图所示。第二步：点击上图的搜索按钮开始搜索，会进入到

原创 学习Hadoop第二十二课（Sqoop---数据迁移工具）

上节课我们一起学习了Hadoop集群测试，这节课我们一起学习一下Sqoop，Sqoop是专门用来迁移数据的，它可以把数据库中的数据迁移到HDFS文件系统，当然也可以从HDFS文件系统导回到数据库。      我来说一下Sqoop的使用场景，假如你们公司有个项目运行好长时间了，积累了大量的数据，现在想升级项目并换种数据库进行存储原来的数据，那么我们就需要先把数据都存放到另一个地方，然后再用新数据

原创 从官网下载最新版Mysql并配置使用以及如何重装

第一步：在百度搜索"Mysql"，我们点击第一个连接，如下图所示。第二步：点击上图的链接后我们进入到如下图所示的界面，我们点击"Downloads"子菜单的"Community"，如下图所示。第三步：点击上图的"Community"之后我们会看到如下图所示的界面，我们点击"MySQL Community Server"，如下图所示。第四步：点击上图的"MySQL Commu

原创 如何从Sqoop官网下载适用于集群的版本

第一步，从百度上搜索Sqoop，我们点击第二条链接，如下图所示。第二步：点击上图的链接之后，我们会进入到如下图所示的界面，我们点击Latest stable release is 1.4.6后面的"Download"，如下图所示。第三步：点击上图的"Download"链接之后，我们会进入到如下图所示的界面，这个页面有很多下载地址，我们点击第一个下载地址就行，如下图所示。第四

原创 在CentOS6.8上部署项目以及如何查看错误日志

现在很多项目都部署在Linux服务器上运行，现在我以虚拟机为服务器，说一下怎样部署一个项目并运行。第一步：环境准备1.1  安装JDK       关于JDK的安装我这里不做详细介绍，大家可以参考：http://blog.csdn.net/u012453843/article/details/52422736这篇博客进行安装1.2 安装mysql      关于Mysql的安装

转载 CentOS安装Mysql

一、mysql简介说到数据库，我们大多想到的是关系型数据库，比如mysql、oracle、sqlserver等等，这些数据库软件在windows上安装都非常的方便，在Linux上如果要安装数据库，咱不得不首先推荐的是mysql数据库了，而且Mysql数据库的第一个版本就是发行在Linux系统上的。MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Orac

原创 学习Hadoop第二十一课（Hadoop集群测试）

上节课我们一起学习了怎样搭建一个6台设备的Hadoop集群，这节课我们一起来学习一下怎样测试我们搭建的集群是否有问题。第一步：启动Zookeeper我们启动HDFS之前一定要先启动Zookeeper，否则DFSZKFailoverController这个进程将无法正常启动。我们分别在itcast04、itcast05、itcast06上启动zookeeper[root@itcast

原创 POI入门及简单应用

由于工作的需要，学习了一下POI，  Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。        那么我们怎么使用POI呢？POI的使用其实非常简单，都不用我们安装，我们只需要用它的几个jar包就可以了。接下来我就一步一步图文说一下如何使用POI。第一步：下载压缩包        到

原创 CentOS6.8上编译Hadoop-2.2.0

由于Hadoop-2.2.0是在32位的基础上编译的，如下图所示，我们看到从官网下载的hadoop-2.2.0默认是32位的，这在我们64位的虚拟机上运行会有问题。因此我们需要对Hadoop源码进行编译，将它变成64位的。[root@itcast05 ~]# lsanaconda-ks.cfg              apache-maven-3.0.5-bin.tar.gz  Docu

原创 怎样从Mysql官网下载mysql.tar.gz版本的安装包

今天学习在Linux上部署项目，用到了Mysql，因此想要下载适用于Linux的安装版本，在Mysql官网找了半天，终于找到怎样下载了，这里写出来，以后大家找的时候就好找了。第一步：在百度输入Mysql，然后我们点击第一个链接，如下图所示。第二步：点击上图的链接之后，我们会看到如下图所示的界面，我们点击“Download”子菜单中的"Community"，如下图所示。第三步：点

原创 怎样在CentOS6.8上安装GraphicsMagick

第一步：下载安装包从官网下载GraphicsMagick-1.3.25.tar.bz2安装包，如果不知道怎样从官网下载的话，大家可以参考：http://blog.csdn.net/u012453843/article/details/52860135这篇博客来下载。第二步：将下载的安装包上传到服务器（也就是我们的CentOS虚拟机）我们可以使用FileZilla工具来上传，不知道怎样操

原创 如何从官网下载GraphicsMagick（Linux版本安装包）

第一步：从百度搜索GraphicsMagick，我们点击第一个链接，如下图所示。第二步：我们点击上图的链接后，会进入到如下图所示的界面，我们点击"Download release"。第三步：我们点击上图的"Download release"链接之后会进入到如下图所示的界面，我们点击"graphicsmagick"。第四步：我们点击上图的"graphicsmagick"之后会

原创 CentOS6.8下安装OpenOffice4.1.3

最近学习了如何在CentOS上安装一些列的软件，OppenOffice便是其中之一。第一步：环境准备      由于本方法用到了网络，因此要先确保你的虚拟机是可以连网的，如果大家不知道怎么配置虚拟机IP和连网的话，大家可以参考：http://blog.csdn.net/u012453843/article/details/52839105这篇博客来学习。第二步：下载安装包

原创 从官网下载Maven想要的版本

第一步：在百度搜索Maven，我们点击第一个连接，如下图所示。第二：进入到下图所示的界面后，我们点击左侧菜单的"Download".第三步：点击上图的"Download"后会进入如下图所示的界面，我们点击"Previous Releases"下的“archives”链接，如下图所示。第四步：点击上图的"archives"链接后，会进入到如下图所示的界面，我们可以看到有很多的

转载 Linux Centos 6.5 安装FFMPEG && 故障排查

首先在FFMEPG官网下载最新的FFMPEG的版本https://ffmpeg.org/download.html下载的源码文件：ffmpeg-3.1.2.tar.bz2上传至服务器之后进行解压操作：tar xvfj ffmpeg-3.1.2.tar.bz2解压之后进入解压目录：cd ffmpeg-3.1.2编译安装：./configure --enable-sha

原创 CentOS6设置静态IP而且还可以上网

最近在学习大数据，在学习的时候碰到了一个问题就是给CentOS虚拟机配置静态IP后，就无法访问网络了，这个问题纠结了我好长时间，现在终于找到解决方法了，赶紧记录下来，以备以后查询。注： 我这里说的方法适用于CentOS6版本 第一步：在网络连接下有VMnet1和VMnet8两个连接，其中VMnet1是本地模式，VMnet8是NAT模式（也就是网络模式），如下图所示

原创 学习Hadoop第二十课（Hadoop集群的搭建）

上节课我们一起学习了Zookeeper集群的搭建，那只是个热身，这节课我们一起要学习的Hadoop集群的搭建才是重中之重。        首先还是先说一下Zookeeper在Hadoop集群的作用，以前我们学习Hadoop伪分布式的时候没有用到Zookeeper是因为伪分布式只有一个NameNode，没有Active和Standby状态的两个NameNode之说，因此根本就不需要Zookeep

转载 安装CentOS

原创 如何从CentOS官网下载我们想要的版本

今天想从官网下载6.5版本的CentOS，结果找了好一会儿才找到，赶紧记录下来，以备以后查询。      第一步在百度搜索centos，点击"Download CentOS"，如下图所示。          点击上图的链接后我们会进入到如下图所示的界面，由于我要下载的是6.5版本的CentOS，因此点击"More Download Choices"，如下图所示。       点

原创 学习Hadoop第十九课（Zookeeper集群搭建）

上节课我们一起学习了Zookeeper的理论知识，这节课我们一起来搭建一个Zookeeper集群，需要说明的是我们现在只是学习搭建集群，所以用的是CentOS虚拟机，还有如果在公司搭建集群的话是不能用root用户来搭建的，而是要用Hadoop用户来搭建，这里为了方便我们就以root用户来搭建了。        要搭建Zookeeper集群，首先当然要有环境了，我们启用3台虚拟机，并且做如下准备

原创 学习Hadoop第十八课（Zookeeper）

上节课我们一起学习了Hadoop倒排索引功能，这节课我们一起学习Zookeeper集群的搭建。         首先我们一起来学习什么是Zookeeper，Zookeeper是Google的Chubby一个开源的实现，是Hadoop的分布式协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。        在hadoop2.0中通常由两个NameN

原创 学习Hadoop第十七课（倒排索引）

上节课我们一起学习了Combiner的理论知识，这节课我们来一起学习一下倒排索引，那么首先我们来了解一下什么是倒排索引，如下图所示，我们可以看到表中有单词ID，单词还有倒排列表，倒排列表存放的是某个单词在第几篇文章中出现的次数，比如谷歌这个单词在第一篇文章中出现了1次，第二篇文章中出现了1次，第三篇文章中出现了2次，第四、第五篇文章各出现1次。那么倒排索引的用处是什么呢？我们以搜索引擎为例，像百度

原创 学习Hadoop第十六课（Combiner编程）

上一节课我们一起学习了Hadoop自定义排序功能，这节我们一起学习Combiner编程，每一个map可能会产生大量的输出，Combiner的作用就是在map端对输出先合并一次，以减少传输到Reducer的数据量。       combiner最基本是实现本地key的归并，combiner具有类似本地reduce功能。       如果不用combiner，那么所有的结果都是reduce完成

原创 学习Hadoop第十五课（自定义排序）

上节课我们一起学习了Hadoop自定义分区功能，这节课我们一起学习Hadoop的自定义排序，Hadoop是有一套默认的排序规则的，但是这往往不能满足我们多样化的需求，为了让排序更多样化，这就需要用到我们本节课所要学习的自定义排序功能。枯燥的说理论我相信大家都很难记住，我们一起来通过一个例子来更好的理解学习它。        我们所要用到的数据如下所示，有四列，分别代表账户、收入、支出、时间。我

原创 学习Hadoop第十四课（自定义分区Partitioner）

上一节课我们一起学习了Hadoop的远程调试，这节课我们一起学习Hadoop的Partitioner（分区），首先说一下为什么要用到分区的功能，这里我们举个例子，中国移动公司想要查看北京用户的打电话情况，手机信号来自附近的基站，要查看北京用户的信息得从全国所有的基站获取信息并一一筛选，假如我们不把用户按省市进行分别存放的话，每次我们想查看某个省市的信息时便需要从全国所有的基站信息中去一一查

转载 在Centos虚拟机中启用中文输入法

首先要确保系统中已经安装了中文输入法。如果你在安装系统时选择了中文，则中文输入法默认就会安装；如果你安装时选择了英文，则必须在安装时选择安装中文输入法，否则不会安装，即使你忘了选择，还是可以在装好系统之后安装。安装方法也非常简单，只需要联网后执行【sudo yum install "@Chinese Support"】命令即可安装，如下图所示：接下来是启用中文输入法的操

原创 学习Hadoop第十三课（Hadoop学习必备技能之远程debug）

上节课我们学习了Hadoop序列化机制、Linux安装Eclipse及创建快捷图标、使用Maven开发 ，这节课我们一起学习Hadoop的必备技能----远程调试。       相信大家都明白远程调试的重要性，首先我们来了解一下JPDA。      JPDA 简介      Sun Microsystem 的 Java Platform Debugger Architecture