hadoop
文章平均质量分 88
liangjianyong007
这个作者很懒,什么都没留下…
展开
-
hadoop HDFS读写文件
一、HDFS读文件过程 1.1 实例代码: package com.liangjya.hadoop.demo;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxEx原创 2016-10-22 10:35:31 · 1434 阅读 · 0 评论 -
hadoop HA 配置下api读取文件
HA 配置参照:hadoop HA HADOOP HA 读取api读取文件,与非HA读取文件时在api调用前需要设置的configuration完全不同,因有多个nameservice,因此在api访问hadoop集群前需要明确指定其映射关系。具体见实例:package com.liangjya.hadoop.cluster.demo;import java.io.Fi原创 2016-11-12 12:07:48 · 1547 阅读 · 0 评论 -
hadoop远程调试
JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构,使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口(分别是 JVM Tool Interface 和 JDI)、一个协议(Java Debug Wire Protocol)和两个用于合并它们的软件组件(后端和前端)组成。原创 2016-11-12 11:47:26 · 454 阅读 · 0 评论 -
hadoop2.2.0伪分布式搭建
关闭防火墙修改ip修改hostname设置ssh自动登录安装jdk安装hadoop原创 2016-10-20 21:58:05 · 400 阅读 · 0 评论 -
分布式服务框架 Zookeeper -- 管理分布式环境中的数据
http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/?spm=0.0.0.0.xuGHnG转载 2016-10-20 14:45:58 · 277 阅读 · 0 评论 -
flume安装配置-采集日志到hadoop存储
一、整体架构 flume其实就是一个日志采集agent,在每台应用服务器安装一个flume agent,然后事实采集日志到HDFS集群环境存储,以便后续使用hive或者pig等大数据分析日志,然后可转存到mysql供运维查询或分析用户行为等。 二、 fume与hadoop集群规划,hadoop集群安装参照:集群规划:Hive只在一个节点(hadoop3)上安装原创 2016-10-29 14:50:30 · 7755 阅读 · 1 评论 -
Hive安装
一、 规划: 集群规划:Hive只在一个节点(hadoop1)上安装即可,hadoop安装参照:hadoop2.2.0集群安装系列 主机名 IP 安装的软件 运行的进程 hadoop1 192.168.31.10 jdk、hadoop NameNode、DFSZKFailoverController、 hadoop2原创 2016-10-29 12:50:22 · 304 阅读 · 0 评论 -
HBASE集群搭建
一、hbase介绍 HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。二、集群规划 主机名 IP 安装的软件 运行的进程 hadoop1 192.168.31.10 jdk、hadoop NameNode、DFSZKFailoverContr原创 2016-10-23 22:31:14 · 319 阅读 · 0 评论 -
sqoop-1.4.4导入导出mysql数据到hadoop2.2.0 HDSF集群
Sqoop是一款开源的工具,主要用于在Hadoop相关存储(HDFS、Hive、HBase)与传统关系数据库(MySql、Oracle等)间进行数据传递工作。Sqoop最早是作为Hadoop的一个第三方模块存在,后来被独立成为了一个Apache项目。除了关系数据库外,对于某些NoSQL数据库,Sqoop也提供了连接器。一、Sqoop基础知识 Sqoop项目开始于2009年,可以在Hado原创 2016-10-23 18:08:51 · 607 阅读 · 0 评论 -
hadoop2.2.0集群搭建(四)终结篇
一、安装hadoop1.1 上传hadoop-2.2.0.tar.gz包到hadoop1机器1.2 解压 tar -zxvf hadoop-2.2.0.tar.gz -C /usr/cloud/hadoop/1.3配置HDFS(hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下) #将hadoop添加到环境变量中(hadoo原创 2016-10-22 23:26:02 · 721 阅读 · 0 评论 -
hadoop2.2.0集群搭建(二)安装前准备
在hadoop2.2.0集群搭建(一)中要求了做基础配置,但是这里为了没有涉及过集群配置的同学再详细说明下 一、安装前准备 首先配置一台主机,然后再克隆其他五台机器。环境:centos+java1.6+hadoop2.2.0+zookeeper-3.4.5java下载地址:http://www.oracle.com/technetwork/java/javase/downloa原创 2016-10-22 21:31:11 · 540 阅读 · 0 评论 -
hadoop2.2.0集群搭建(一)集群规划
一、 描述hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译。二、 前期准备1.修改Linux主机名2.修改IP3.修改主机名和IP的映原创 2016-10-22 17:51:24 · 1688 阅读 · 0 评论 -
hadoop2.2.0集群搭建(三) zookeeper集群搭建
概述结构与原理安装»概述ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。»结构与原理»Zookeeper的核心是原子广播,这个机制保证了各个ser原创 2016-10-22 22:16:28 · 365 阅读 · 0 评论 -
hadoop RPC
RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC的协议有很多,原创 2016-11-12 20:29:16 · 482 阅读 · 0 评论