- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop RPC机制+源码分析
一、RPC基本原理 RPC是一种通过网络从远程计算机上请求服务的机制，封装了具体实现，使用户不需要了解底层网络技术。目前存在许多开源RPC框架，比较有名的有Thrift、Protocol Buffers和Avro。Hadoop RPC与他们一样，均由两部分组成：对象序列化和远程过程调用。 RPC采用客户机/服务器模型，在OSI网络通信模型中，RPC跨越了传输层和应用层，它使得开发分布式应用程序更加
2015-04-27 10:31:43
794
原创 Hadoop编程模型之InputFormat
一、InputFormat接口简介 InputFormat接口主要用于描述输入数据的格式，它有两个方法：InputSplit[] getSplits(JobConf job, int numSplits) RecordReader<K, V> getRecordReader(InputSplit split, JobConf
2015-04-23 19:15:13
596
原创 HBase集群+Zookeeper集群安装
Zookeeper版本：3.4.6 HBase版本：0.94.20 一、zookeeper安装 在安装好hadoop的前提下，首先安装zookeeper，注意下载的zookeeper版本需要与hadoop版本相对应（同样的，只需要在namenode端进行配置，配置好后发给datanode端即可）： 1）下载zookeeper-3.4.6，解压到/home/hadoop/下。 2）在zook
2015-04-13 19:51:55
432
原创 Eclipse配置hadoop2.2.0环境
操作系统：64位Ubuntu14.04 hadoop安装路径：/usr/local 一、在Eclipse下配置Hadoop插件： 1. Hadoop2.2.0还算比较新的，hadoop安装目录里还没有配套的Eclipse插件。可直接把附件中的hadoop-eclipse-kepler-plugin-2.2.0.rar解压后放到eclipse安装目录下的plugins目录中。 2.重启ecli
2015-04-13 18:42:59
507
原创 社交网络中如何快速找到好友的好友（存储过程）
最近需要找到社交网络中一个人好友的好友，之前好友关系已经存在数据库中，第一列是用户id，第二列是该用户好友id 假设需要查找一个用户（假设id为123），所有的好友，在依次找到每个好友的好友，但是这样要么就需要查很多次数据库，要么就必须用数据库的子查询语句，初步试了一下，发现执行效率特别低，因此想到了存储过程。 基本思路：以查询结果为条件进行二次查询（先找出用户123的好友列表，将结果赋给游标
2014-12-06 15:30:03
1089
1原创 hadoop集群搭建
系统版本： master: Ubuntu 14.04 salve1: Ubuntu 12.04 hadoop: hadoop 0.20.203 1.系统配置以及安装SSH无密码登陆环境（master&slaves）： 修改host文件（目的：通过hadoop名字访问各机IP）： sudo gedit /etc/hosts 在后面添加内容为： 172.22.144.115 mast
2014-10-17 20:08:32
511
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人