- 博客(82)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 寒假结束了，又要开学了。。
寒假结束了，又要开学了。。 不知不觉40多天的寒假结束了，明天就要踏上回学校的路，迎接大三下学期，继续奋斗ing！！！！！！
2015-02-25 22:34:01
994
原创 Hadoop-2.6.0集群HA搭建
Hadoop-2.6.0集群HA搭建 1、安装克隆四台虚拟机准备4台虚拟机192.168.1.2 hadoop000 NameNode192.168.1.3 hadoop111 NameNode、DataNode、JournalNode192.168.1.4 hadoop222 Da
2015-02-25 22:11:53
3558
转载 Yarn简单介绍及内存配置
Yarn简单介绍及内存配置 在这篇博客中，主要介绍了Yarn对MRv1的改进，以及Yarn简单的内存配置和Yarn的资源抽象container。我么知道MRv1存在的主要问题是：在运行时，JobTracker既负责资源管理又负责任务调度，这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题，是与其最初的设计有关，如下图：从上图可以看到，MRv1是围绕着MapRedu
2015-02-25 21:39:31
918
原创 Hadoop-2.6.0集群搭建
Hadoop-2.6.0集群搭建 1、用到的软件和IP设置：1.1、jdk和hadoop版本：hadoop-2.6.0.tar.gzjdk-8u25-linux-x64.gz1.2、统一用户名hadoop001.3、集群IP与主机名：192.168.1.2 hadoop00192.168.1.3 hadoop11192.168.1.4 hadoop221
2015-02-25 21:12:27
2684
3
转载 ZooKeeper API简介及编程
ZooKeeper API简介及编程 问题导读：1.ZooKeeper API 共包含几个包？2.如何使用ZooKeeper API 创建zookeeper应用程序？ 1)ZooKeeper API 简介 ZooKeeper API 共包含 5 个包，分别为： org.apache.zookeeper ， org.apache.zookeeper.d
2015-02-24 16:19:19
893
原创 zookeeper常用命令
zookeeper常用命令1、启动 Zookeeper服务：bin/zkServer.sh start2、查看 Zookeeper状态状态：bin/zkServer.sh status3、停止 Zookeeper服务：bin/zkServer.sh stop4、重启 Zookeeper服务：bin/zkServer.sh restart5、连接服务器：zkC
2015-02-24 16:12:26
710
原创 轻松搭建hadoop-1.2.1集群(5)—配置HBase集群
轻松搭建hadoop-1.2.1集群(5)—配置HBase集群 1、解压hbase：hbase解压在 /usr/local/ 目录里面：[root@hadoop0 local]# pwd/usr/local[root@hadoop0 local]# ll总用量 216592drwxr-xr-x. 7 root root 4096 2月 23 14:31 hba
2015-02-23 23:33:53
1733
原创 轻松搭建hadoop-1.2.1集群(4)--配置Zookeeper集群
轻松搭建hadoop-1.2.1集群(4)--配置Zookeeper集群 1、解压：解压存放目录：[root@hadoop0 local]# pwd/usr/local[root@hadoop0 local]#解压完毕：[root@hadoop0 local]# ll总用量 148828drwxr-xr-x. 10 root root 4096 11月
2015-02-23 23:15:32
1466
原创 Hadoop自定义数据类型编程练习
Hadoop自定义数据类型编程练习 代码：package zidongyi; import java.io.DataInput;import java.io.DataOutput;import java.io.IOException; importorg.apache.hadoop.conf.Configuration;import org.apache.had
2015-02-22 20:50:36
938
转载 MapReduce编程8步骤
MapReduce编程8步骤◆执行步骤： 1. map任务处理1.1 读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。1.2 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。1.3 对输出的key、value进行分区。1.4 对不同分区的数据，按照key进行
2015-02-22 20:45:28
1543
原创 Hadoop集群动态增加一个节点
Hadoop集群动态增加一个节点 现在已经有一个hadoop cluster，并且两个slave节点为hadoop1、hadoop2，现在要动态增加一个新slave节点hadoop3。 1、配置新节点的环境 IP地址、主机名、防火墙、SSH、JDK、Hadoop 2、把新节点的hostname配置到主节点的slaves文件中hadoop0hadoop1hado
2015-02-21 21:55:14
1395
原创 轻松搭建hadoop-1.2.1集群(3)--配置hadoop集群软件
轻松搭建hadoop-1.2.1集群(3)--配置hadoop集群软件 1、开始安装JDK和Hadoop：对jdk和hadoop进行解压：如果JDK是bin文件增加可执行权限：chmod u+x jdk-6u45-linux-x64.bin解压完毕： 2、对解压的软件文件夹改名： 3、在hadoop0主机上进行配置：配置JDK
2015-02-21 00:25:16
2075
原创 轻松搭建hadoop-1.2.1集群--快速配置SSH免密码登陆
vmware快速配置SSH互相免密码登陆 1、启动三个准备好的Linux虚拟机系统： 2、在Windows的cmd里面ping通VMWare网卡IP： 在Windows的cmd里面ping通hadoop0： 在Windows的cmd里面ping通hadoop1： 在Windows的cmd里面ping通hadoop2：
2015-02-21 00:18:40
2823
原创 轻松搭建hadoop1.2.1集群前奏--虚拟机安装与配置
轻松搭建hadoop1.2.1集群前奏--虚拟机安装与配置1、修改VMWare10的本机网卡IP： 1.1、VMWare10在windows 上装好之后会出现这两个网卡，选择如下第一个。1.2、设置IP： 2、VMWare安装Linux之前准备部分2.1、点击创建虚拟机：2.2、选择自定义安装： 2,3、直接下一步： 2.4、选择第三
2015-02-20 23:54:17
1870
原创 VMWare10克隆虚拟机
5、拷贝虚拟机5.1、把装好的虚拟机内存设小些，因为本机windows的内存就比较小： 5.2、右键虚拟机 --> 管理 ---> 克隆，下一步： 5.3、直接下一步： 5.4、选择第二个，创建完整克隆： 5.5、为要克隆出的虚拟机起个名字，并设置存放位置： 5.6、正在克隆中ing： 5.7、克隆完毕：
2015-02-20 23:44:39
1510
转载 Hadoop数据类型
Hadoop数据类型 我们知道hadoop是由Java 编程写的。因此我们使用Java开发环境来操作HDFS,编写mapreduce也是很自然的事情。但是这里面hadoop却对Java数据类型进行了包装，那么hadoop的数据类型与Java那些数据类型对应。下面做一些对比：一、 Hadoop数据类型介绍：(1)在hadoop.io包，主要分为基本类型和
2015-02-19 01:22:22
2589
原创 Failed to set permissions of path:
Failed to setpermissions of path: 问题描述：Failed to setpermissions of path: 解决方法：步骤一： 把路径为：hadoop-1.2.1\src\core\org\apache\hadoop\fs 下的FileUtil.java 类拷贝到工程项目中： 操作如下： 步骤二： 注释掉chec
2015-02-19 01:20:24
1080
原创 windows上运行mapreduce
windows上运行mapreduce 环境搭建参考这篇文章：http://blog.csdn.net/baolibin528/article/details/43868477 代码：packagemapreduce;importjava.net.URI; importorg.apache.hadoop.conf.Configuration;importorg.apac
2015-02-19 01:17:33
1761
转载 HDFS的基本概念
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。1.2、元数据节点(Namenode)和数据节
2015-02-18 23:45:34
1155
原创 HDFS的Java API操作代码
HDFS的Java API操作代码 代码部分： package FileSystem; import java.io.FileInputStream;import java.io.IOException;import java.net.URI; importorg.apache.hadoop.conf.Configuration;importorg.apa
2015-02-17 21:50:38
1154
原创 HDFS的Java API操作本地环境搭建
HDFS的Java API操作本地环境搭建 1、创建一个Java project 项目： 2、导入jar包：把Hadoop根目录下的 JAR包和lib下的JAR包导进去： 3、修改本地 hosts 文件： 在里面加入 虚拟机的IP地址和主机名： 不用FileSystem连接，用URL连接一下看看是否可以连通：
2015-02-17 21:46:50
2517
原创 通过一个小例子了解RPC
通过一个小例子了解RPC1、eclipse目录：MyServer.java 类：MyClient.java类：MyBizable.java类：MyBizjava类：2、启动MyServer类：3、启动MyClient类：4、cmd 里jps查看： 1.RPC 1.1RPC (remote proce
2015-02-17 21:33:40
1063
原创 FileUtil
FileUtilhadoop-1.2.1\src\core\org\apache\hadoop\fs/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * dis
2015-02-17 21:24:01
1921
2
原创 把Hadoop源码关联到eclipse中
把Hadoop源码关联到eclipse中 ant下载地址：http://archive.apache.org/dist/ant/binaries/hadoop 下载地址：http://archive.apache.org/dist/hadoop/core/所有版本JDK下载地址： http://www.oracle.com/technetwork/java/archive
2015-02-16 20:32:21
1455
原创 HDFS体系结构简介
HDFS体系结构简介 1、HDFS设计基础与目标： 1.1、硬件错误是常态。因此需要冗余1.2、流式数据访问。即数据批量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理 1.3、大规模数据集 1.4、简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计，即是文件一经写入，关闭，就再也不能修改 1.5）、程序采用“数据就近
2015-02-16 20:19:43
1510
原创 HDFS基本操作
HDFS基本操作 1、查看HDFS 目录： 执行命令：hadoop fs -ls hdfs://192.168.1.100:9000/ [hadoop@baolibin ~]$ hadoop fs -lshdfs://192.168.1.100:9000/Warning: $HADOOP_HOME is deprecated. Found 1 itemsdrwxr
2015-02-16 19:47:52
1295
原创 轻松搭建hadoop-1.2.1伪分布
轻松搭建hadoop-1.2.1伪分布 以CentOS为例： CentOS虚拟机安装：http://blog.csdn.net/baolibin528/article/details/32918565网络设置：http://blog.csdn.net/baolibin528/article/details/43797107PieTTY用法：http://blog.csdn.
2015-02-16 12:59:22
1639
原创 PieTTY 连接Linux
PieTTY 连接Linux虚拟机与Windows网络要互相ping 通。网络设置可以参考这篇博文：http://blog.csdn.net/baolibin528/article/details/43797107 1、打开软件： 2、设置要登录的 Linux 虚拟机 IP 地址： 3、输入要登录的用户（Hadoop） 和用户密码，显示登陆成功：
2015-02-14 23:06:47
6417
原创 WinSCP链接Linux
WinSCP链接Linux 1、打开软件： 2、打开Linux，填写登陆信息： 3、点击登陆，链接效果如下： 4、上传只需把左面本地电脑东西直接拖到右面linux目录里即可：第一次上传会显示这个：上传过程： 可以看到刚才上传的东西： 软件下载地址，友情链接：http://www.xiazaiba.c
2015-02-14 20:09:41
1506
转载 Linux一些基本常用命令
Linux一些基本常用命令1.通过远程工具登陆到linux后，所在的位置是当前登录用户的家目录(home directory)。2.家目录的符号用~表示。3.linux的文件系统是一个树结构。 linux文件系统的树根成为根目录，使用符号"/"表示。 linux文件系统中使用符号".."表示上级目录。 linux文件系统中使用符号"."表示当前目录。 l
2015-02-13 21:42:46
759
转载 解决SecureCRT中文显示乱码
操作步骤以下两步：远程linux机器。修改环境变量LANG。例如在~/.bash_profile里面添加[plain] view plaincopyexport LANG=zh_CN.UTF8 重新登录之后生效。现在查看一下当前设置：[plain] view plaincopy
2015-02-13 19:44:10
793
原创 SecureCRT连接Linux
SecureCRT连接Linux 1、用vmware 安装CentOS，网络设置如下： VMware网络设置，选择仅主机模式：CentOS的网络设置： 2、设置windows上的vmware网卡：用的这个网卡：VMware Virtual Ethernet Adapter for VMnet1Ipv4 设置如下： 3、互相pi
2015-02-13 19:38:51
8621
5
转载 伪分布式集群环境hadoop、hbase、zookeeper搭建（全）
环境说明 1、操作系统centos 6.52、jdk-7u51-linux-x64.tar.gz hadoop-1.1.2.tar.gz hbase-0.94.7-security.tar.gz zookeeper-3.4.5.tar.gz设置IP地址设置静态ip执行[plain] view plaincopy
2015-02-12 20:36:56
2632
转载 HBase-0.90.4集群安装配置
HBase是Hadoop数据库，能够实现随机、实时读写你的Big Data，它是Google的Bigtable的开源实现，可以参考Bigtable的论文Bigtable: A Distributed Storage System for Structured。HBase的存储模型可以如下三个词来概括：distributed, versioned, column-oriented。HBase并非
2015-02-11 23:18:45
938
转载 ZooKeeper-3.3.4集群安装配置
ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在
2015-02-11 23:12:24
731
转载 zookeeper启动失败的排错
运行zookeeperd后显示启动成功：JMX enabled by defaultUsing config: /data/programfiles/zookeeper-3.4.5/bin/../conf/zoo.cfgStarting zookeeper ... STARTED但用zkServer.sh status查看，反馈如下：JMX enable
2015-02-11 23:08:30
1840
原创 Zookeeper伪分布安装
Zookeeper伪分布安装 1、解压： 2、进入Zookeeper安装目录的 conf 文件夹下，复制一份zoo_sample.cfg为zoo.cfg 3、编辑zoo.cfg 文件：去掉没用的： 4、在 zookeeper 下创建文件夹 data： 5、在data 文件夹下创建 myid 文件：是这样的：别这样，创建的
2015-02-11 23:01:50
911
原创 hadoop-1.2.1集群安装zookeeper-3.4.5
hadoop-1.2.1集群安装zookeeper-3.4.5 1、 查看集群各主机名： 2、解压到 /home/hadoop 及一般用户权限目录下面： 3、在zookeeper-3.4.5 目录下创建文件夹data4、data里面创建文件myid： 5、在zookeeper-3.4.5 目录conf里，把zoo_sample.cfg
2015-02-11 22:53:45
923
转载 Hadoop Hive sql语法详解
Hadoop Hive sql语法详解 Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉
2015-02-10 20:51:55
1027
转载 谷歌三大核心技术（三）Google BigTable中文版
Bigtable：一个分布式的结构化数据存储系统译者：alex 摘要Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在
2015-02-10 18:20:24
3156
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人