自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 资源 (1)
  • 收藏
  • 关注

原创 Hadoop RPC机制+源码分析

一、RPC基本原理RPC是一种通过网络从远程计算机上请求服务的机制,封装了具体实现,使用户不需要了解底层网络技术。目前存在许多开源RPC框架,比较有名的有Thrift、Protocol Buffers和Avro。Hadoop RPC与他们一样,均由两部分组成:对象序列化和远程过程调用。 RPC采用客户机/服务器模型,在OSI网络通信模型中,RPC跨越了传输层和应用层,它使得开发分布式应用程序更加

2015-04-27 10:31:43 794

原创 Hadoop编程模型之InputFormat

一、InputFormat接口简介InputFormat接口主要用于描述输入数据的格式,它有两个方法:InputSplit[] getSplits(JobConf job, int numSplits) RecordReader<K, V> getRecordReader(InputSplit split, JobConf

2015-04-23 19:15:13 596

原创 HBase集群+Zookeeper集群安装

Zookeeper版本:3.4.6 HBase版本:0.94.20 一、zookeeper安装 在安装好hadoop的前提下,首先安装zookeeper,注意下载的zookeeper版本需要与hadoop版本相对应(同样的,只需要在namenode端进行配置,配置好后发给datanode端即可): 1)下载zookeeper-3.4.6,解压到/home/hadoop/下。 2)在zook

2015-04-13 19:51:55 432

原创 Eclipse配置hadoop2.2.0环境

操作系统:64位Ubuntu14.04 hadoop安装路径:/usr/local 一、在Eclipse下配置Hadoop插件: 1. Hadoop2.2.0还算比较新的,hadoop安装目录里还没有配套的Eclipse插件。可直接把附件中的hadoop-eclipse-kepler-plugin-2.2.0.rar解压后放到eclipse安装目录下的plugins目录中。 2.重启ecli

2015-04-13 18:42:59 507

原创 社交网络中如何快速找到好友的好友(存储过程)

最近需要找到社交网络中一个人好友的好友,之前好友关系已经存在数据库中,第一列是用户id,第二列是该用户好友id假设需要查找一个用户(假设id为123),所有的好友,在依次找到每个好友的好友,但是这样要么就需要查很多次数据库,要么就必须用数据库的子查询语句,初步试了一下,发现执行效率特别低,因此想到了存储过程。基本思路:以查询结果为条件进行二次查询(先找出用户123的好友列表,将结果赋给游标

2014-12-06 15:30:03 1088

原创 朴素贝叶斯算法Java实现

一、构造分类器

2014-11-25 16:18:40 1335

原创 数据库三范式

以前一直不知道数据库三范式是什么,还以为会

2014-11-02 10:43:08 513 1

原创 hadoop集群搭建

系统版本:master: Ubuntu 14.04  salve1: Ubuntu 12.04hadoop: hadoop 0.20.203 1.系统配置以及安装SSH无密码登陆环境(master&slaves):修改host文件(目的:通过hadoop名字访问各机IP):sudo gedit /etc/hosts在后面添加内容为:172.22.144.115 mast

2014-10-17 20:08:32 511

iris数据集

很好用的数据集,可用于朴素贝叶斯、dbscan、梯度下降、kmeans等机器学习算法

2014-11-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除