hadoop
少羽baby
由于他们依赖代码,所以就为代码所支配
展开
-
Hadoop RPC远程过程调用协议简单实现
Hadoop RPC远程过程调用协议简单实现 简单来说,RPC就是 客户端的进程 远程调用 服务器端进程 中的方法(自己理解的,不一定对)。 1.Java代码 首先在本机编写代码 Server端: package cn.tjubd.hadoop.rpc; import java.io.IOException; import org.apache.hadoop.HadoopIllegal...原创 2019-03-04 22:12:33 · 1383 阅读 · 0 评论 -
实例分析消息队列(MQ)的原理及使用
实例分析消息队列(MQ)的原理及使用 一、概述 消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ 二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息...转载 2019-03-08 11:05:19 · 4829 阅读 · 0 评论 -
MapReduce简单实现(补)
目标是计算数据中手机号的上行总流量、下行总流量以及总流量。 1.数据 字段如下图- 要用到的是1,8,9三个字段。 2.jar包 1)可选择Maven,比较方便: 在pom.xml 文件中添加如下内容 <dependencies> <dependency> <groupId>junit</groupId> <ar...原创 2019-04-16 11:20:06 · 229 阅读 · 0 评论 -
SSH免登陆配置原理(Hadoop伪分布式搭建)
SSH免登陆配置原理 1.原理图: 简单来说:如果要在A上免登陆B,则需要将A的公钥拷贝给B 2.具体实现: cd ~/.shh/ 即 home 下的 .ssh 文件夹; ssh-keygen -t rsa 执行过程中回车即可(四个回车), 执行完后会生成两个文件:id_rsa(私钥)、id_rsa.pub(公钥) 将公钥拷贝到要免登陆的机器上: 免登陆本机: 1)复制即可:cp id_...原创 2019-02-28 10:50:00 · 1773 阅读 · 0 评论