2015年08月_lsxy117

12月 11月 10月 09月 08月 06月

原创 Eclipse远程连接hadoop的hdfs时, 报 Permission denied错误

错误现象：用Eclipse远程连接hadoop集群时报org.apache.hadoop.security.AccessControlException: Permission denied: user=lenvol, access=WRITE_EXECUTE, inode="/input":hadoop:supergroup:rwxr-xr-x错误; 分析：权限控制问题，只要

2015-08-31 16:14:02 2937

原创 hadoop2企业级集群部署（DNS域名解析+NFS密钥共享+AWK批量复制）

注意：apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的，如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译。本地已经编译好，可以直接使用 F:\BaiduYunDownload\hadoop-2.6.0-x64 ；或者直接将32位安装包的lib包替换为F:\BaiduYunDownload\hadoop-2.6.0-x64\hado

2015-08-28 14:25:42 1145

原创 hadoop集群搭建之NFS服务

Linux操作系统：Ubuntu 12NFS环境规划NFS服务器：192.168.1.201NFS客户端：192.168.1.202、192.168.1.2031. NFS服务器安装及配置（使用root账号）1.1 首先查看下本机是否安装nfs#dpkg --list|grep 'nfs' 如果有安装会显示对应的版本名称信息等1.2 安装nfs软件

2015-08-28 14:13:45 2214

原创 Hadoop集群搭建之搭建DNS

Linux操作系统：Ubuntu 12DNS环境规划DNS服务器：suh01.hadoop.com（192.168.1.201）DNS客户端：suh02.hadoop.com（192.168.1.202）、suh03.hadoop.com（192.168.1.203）一、DNS搭建1. bind 的安装1.1 查看是否安装bind#dpkg --

2015-08-28 14:06:06 1167

转载 linux awk命令详解

简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格作为默认分隔符将每行切分为各个域，对切分的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人

2015-08-18 14:29:11 353

原创 Hive学习笔记

环境描述：Hadoop集群版本：hadoop-1.2.1Hive版本：hive-0.10.0Hive在使用时只在一个节点上安装即可。一、Hive安装配置1.上传hive压缩包（hive-0.10.0-bin.tar.gz）hadoop集群的某个节点服务器，解压安装：tar -zxvf hive-0.10.0.tar.gz -C /home/suh/2.修改h

2015-08-16 22:15:14 768

原创 Hive启动报错无法找到class— java.lang.NoClassDefFoundError

Hive启动时，报错无法找到class，如java.lang.NoClassDefFoundErrorException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException at java.lang.Class.forName0

2015-08-16 16:23:45 13657

原创 hadoop1.2.1集群增加datanode节点

案例操作：给hadoop（hadoop1.2.1版本）分布式集群增加一个datanode节点操作步骤说明：1、在新节点上传hadoop，解压安装；2、把namenode的有关配置文件复制到该节点；3、在namenode节点上，修改masters和slaves文件，增加该节点的主机名；4、在namenode节点上，设置ssh免密码登录该节点；5、单独启动该节点上的 dat

2015-08-13 22:04:37 919

翻译 HDFS实现其高可靠性的策略及机制

分布式文件系统（HDFS）的高可靠性主要是由多种策略及机制共同作用实现的。主要有：冗余副本策略可以指定数据文件的副本数量，默认是3；保证所有的数据块都有副本，不至于在一个datanode宕机后，数据的丢失。机架策略集群一般放在不同机架上，机架间带宽要比机架内带宽要小；HDFS具有“机架感知”能力，它能自动实现在本机架上存放一个副本，然后在其它机架再存放另

2015-08-13 21:47:48 6135

原创 Hive集成Mysql作为元数据时，提示错误：Specified key was too long; max key length is 767 bytes

在进行Hive集成Mysql作为元数据过程中，做完所有安装配置工作后，进入到hive模式，执行show databases；执行正常，接着执行show tables；时却报错。关键错误信息如下：com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key leng

2015-08-09 22:59:28 1804

原创 Hadoop2.6.0完全分布式集群搭建实操笔记

注意：apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的，如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译。前期准备工作：1.修改Linux主机名：/etc/hostname2.修改IP：/etc/network/interfaces3.修改主机名和IP的映射关系：/etc/hosts4.查看防火墙状态、关闭防火

2015-08-08 16:10:03 1711

原创 Hadoop1.2.1 完全分布式集群搭建实操笔记

前期准备工作：1.修改Linux主机名：/etc/hostname ubuntu系统：vi /etc/hostname 将ubuntu默认的主机名ubuntu改为suh012.修改IP：/etc/network/interfaces 修改

2015-08-08 16:06:46 2960 1

原创 Sqoop学习笔记——关系数据库与hdfs间数据迁移

一、安装：上传到hadoop集群的某一个节点上，将sqoop压缩包解压即可直接使用；二、配置：将需要连接的数据库（比如Oracle、MySQL）的连接驱动拷贝到 sqoop目录的lib里；三、配置mysql远程连接GRANT ALL PRIVILEGES ON ekp_11.* TO 'root'@'192.168.1.10' IDENTIFIED BY '123

2015-08-03 15:31:42 5805 1

原创 hadoop问题之java.net.NoRouteToHostException: 没有到主机的路由

hadoop启动过程中遇到下面的问题：2015-08-02 19:43:20,771 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: /************************************************************STARTUP_MSG: Starting D

2015-08-02 23:33:32 29437 4

原创使用sqoop实现hive与mysql数据库间数据迁移的时，发现如下错误提示

执行 ./sqoop create-hive-table --connect jdbc:mysql://192.168.1.10:3306/ekp_11 --table job_log --username root --password 123456 --hive-table job_log准备将关系型数据的表结构复制到hive中。但是提示如下一堆错误信息：Warning: /usr

2015-08-02 17:22:38 4077 1

原创 message from server: "Host '192.168.1.10' is not allowed to connect to this MySQL server

在连接本机的mysql 数据库时，配置连接信息，连接发生错误，提示：message from server: "Host '192.168.1.10' is not allowed to connect to this MySQL server但是将IP地址改为localhost又能正常连接到MySQL数据库。临时处理方案：1、先用localhost方式连接到MySQL数据库，然后使用

2015-08-02 15:13:07 9883 2

jdk1_6_45 linux版

jdk1_6_45 linux 安装版本，自己经常用的版本所以上传，以防丢失

2015-06-16

hadoop2.2.0的64位安装包

Hadoop官网上下载的hadoop-2.2.0安装包是32位的，直接运行在64位的linux系统上会有问题，所以需要自己将hadoop-2.2.0安装包编译为64位。

2015-06-16

Hadoop2.2.0版本 - 虚拟机VMWare - Linux(ubuntu) ,多节点伪分布环境搭建详细操作手册，可以直接用于完全分布。每一步都有自己详细操作记录和相关说明，几夜风雨的辛劳搭建和测试。此操作手册搭建的集群详细说明： 1、由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。 2、采用hadoop2.0官方提供QJM —HDFS，HA的解决方案，在QJM方案中，主备NameNode之间通过一组JournalNode同步元数据信息。 3、这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为active状态。

2015-06-16