hadoop
胖肉团
这个作者很懒,什么都没留下…
展开
-
利用ZooKeeper实现分布式锁和实现实时更新server列表
分布式锁:场景描述 在分布式应用, 往往存在多个进程提供同一服务. 这些进程有可能在相同的机器上, 也有可能分布在不同的机器上. 如果这些进程共享了一些资源, 可能就需要分布式锁来锁定对这些资源的访问. 本文将介绍如何利用zookeeper实现分布式锁.思路 进程需要访问共享数据时, 就在"/locks"节点下创建一个sequence类型的子节点, 称为thisPath. 当this...转载 2018-05-10 15:28:37 · 191 阅读 · 0 评论 -
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
about云课程:hadoop3.x视频获取本帖最后由 pig2 于 2014-5-13 15:35 编辑问题导读:1.DataNode的http服务的端口、ipc服务的端口分别是哪个?2.NameNode的http服务的端口、ipc服务的端口分别是哪个?3.journalnode的http服务的端口、ipc服务的端口分别是哪个?4.ResourceManager的http服务端口是哪个?5.No...转载 2018-05-10 15:28:40 · 113 阅读 · 0 评论 -
Hadoop 调试第一个mapreduce程序过程详细记录总结
开发环境搭建参考 <Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境>:http://blog.itpub.net/26230597/viewspace-1370205/1,程序代码如下:package wc;import java.io.IOException;import java.util.StringTokenizer;imp...转载 2018-05-10 15:30:38 · 468 阅读 · 0 评论 -
Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发,但是大部分Java程序员对linux系统不是那么熟悉,所以需要在windows下开发hadoop程序,所以经过试验,总结了下如何在windows下使用Eclipse来开发hadoop程序代码。 1、 需要下载hadoop的专门插件jar包hadoop版本为2.3.0,hadoop集群搭建在centos6x上面,插件包...转载 2018-05-10 15:30:46 · 275 阅读 · 0 评论 -
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
问题导读: 0、了解常规JDK安装以及Linux系统配置 1、了解集群规划以及集群场景 2、熟悉HBase的集群搭建 3、熟悉ZooKeeper集群搭建 4、熟悉Hadoop2.6.0版本HA集群搭建 5、验证HBase、ZooKeeper、Hadoop等集群运行情况参考 :Hadoop2.4的ResourceMa...转载 2018-05-10 15:31:29 · 112 阅读 · 0 评论 -
从hbase(hive)将数据导出到mysql
一、创建mysql表mysql> create table award (rowkey varchar(255), productid int, matchid varchar(255), rank varchar(255), tourneyid varchar(255), userid bigint, gameid int, gold int, loginid varchar(255), ...转载 2018-05-10 15:30:55 · 1383 阅读 · 0 评论 -
Hive导出到Mysql中中文乱码的问题
一、mysql中的编码 mysql> show variables like 'collation_%';+----------------------+-------------------+| Variable_name | Value |+----------------------+-------------------+| collation_connection | la...转载 2018-05-10 15:31:46 · 729 阅读 · 0 评论 -
用sqoop进行mysql和hdfs系统间的数据互导
qoop 是apache下用于RDBMS和HDFS互相导数据的工具。本文档是sqoop的使用实例,实现从mysql到hdfs互导数据,以及从Mysql导数据到HBase。下载:http://www.apache.org/dyn/closer.cgi/sqoop/[zhouhh@Hadoop48 ~]$ wget http://labs.renren.com/apache-mirror/sqoop/...转载 2018-05-10 15:31:52 · 216 阅读 · 0 评论