2015年05月_garychenqin

原创 JAVA单例模式思考

之前我所写的单例模式是下面的样子：public class SingletonClass { private SingletonClass(){}; private static SingletonClass instance = null; private synchronized static SingletonClass getInstance() { if(i

2015-05-31 21:48:51 516

原创 Hadoop学习笔记（七）---简单WorldCount程序的实现

1.eclipse创建一个新的java project，记得引入hadoop的jar包。2.编写程序如下：import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;

2015-05-31 19:52:29 474

原创 Hadoop学习笔记（六）---HDFS java接口

我们可以实现编写java代码的方式操作hadoop：1.eclipse里面创建一个新的项目，不介绍了，超级简单2.添加hadoop依赖的jar包：1）这里我们添加一个library，方便我们以后使用hadoop的jar包，步骤如下：点击下图中标红的位置：点击new：然后：点击ok后，点击add external jars：然后添加jar包即可：还得添加lib里面的jar包：然后一路点击确定就可以添加

2015-05-31 16:23:28 556

原创 Hadoop学习笔记（五）---HDFS shell操作

1.查看hadoop上根目录的文件：[root@localhost current]# hadoop fs -ls /2.上传文件到hadoop：[root@localhost hadoop]# vim aaa[root@localhost hadoop]# hadoop fs -put aaa /Warning: $HADOOP_HOME is deprecated.[root@localho

2015-05-31 14:52:34 963

原创 Hadoop学习笔记（四）---HDFS概述

HDFS（hadoop distributed file system）分布式文件存储系统。HDFS的架构：主从结构主节点只有一个 – namenode 从节点有很多个 – datanodesnamenode负责： 1.接受用户操作请求 2.维护文件系统的目录结构 3.管理文件与block之间的关系，block与datanodes之间的关系datanodes负责： 1.存储文件 2

2015-05-31 13:22:51 452

原创 Hadoop学习笔记（三）---hadoop的安装

1.下载hadoop 2.通过ftp上传到linux中 3.把文件复制到 /usr/local目录下面，然后解压，重命名 4.跟jdk差不多，来配置环境变量： 1）vi /etc/profile 2.修改之前设置的jdk环境变量如下：export JAVA_HOME=/usr/local/jdkexport HADOOP_HOME=/usr/local/hadoopexport

2015-05-31 10:36:57 592

原创 Hadoop学习笔记（二）---linux中JDK的安装

1.启动linux后最好先设置linux启动为命令行模式，没必要启动图形界面，编辑下面文件：vi /etc/inittab在默认的 run level 设置中,可以看到第一行书写如:id:5:initdefault:(默认的 run level 等级为 5,即图形界面), 将第一行的 5 修改为 3 即可。保存文件后重启系统你就可以看见是启动的文本界面了。2.将jdk通过ftp上传到linux中，具

2015-05-30 22:41:52 489

原创 Hadoop学习笔记（一）---Linux基本知识说明

Hadoop的生成环境都是在linux下面，不过呢hadoop2.x 已经开始支持windows平台，但是支持并不是很好，因此熟悉linux的命令是很重要的，需要熟悉linux的基本命令和环境的基本配置：1.可以采用vmware虚拟机的方式来安装linux，安装过程省略，去网上查一下便可。2.linux的版本很多，但是这里还是采用Ubuntu ,当然可以采用其他的linux，请自便。3.安装完成后需

2015-05-30 15:05:45 991

陈先森~