![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
少羽baby
由于他们依赖代码,所以就为代码所支配
展开
-
Hadoop RPC远程过程调用协议简单实现
Hadoop RPC远程过程调用协议简单实现简单来说,RPC就是 客户端的进程 远程调用 服务器端进程 中的方法(自己理解的,不一定对)。1.Java代码首先在本机编写代码Server端:package cn.tjubd.hadoop.rpc;import java.io.IOException;import org.apache.hadoop.HadoopIllegal...原创 2019-03-04 22:12:33 · 1360 阅读 · 0 评论 -
实例分析消息队列(MQ)的原理及使用
实例分析消息队列(MQ)的原理及使用一、概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息...转载 2019-03-08 11:05:19 · 4763 阅读 · 0 评论 -
MapReduce简单实现(补)
目标是计算数据中手机号的上行总流量、下行总流量以及总流量。1.数据字段如下图- 要用到的是1,8,9三个字段。2.jar包1)可选择Maven,比较方便:在pom.xml 文件中添加如下内容<dependencies> <dependency> <groupId>junit</groupId> <ar...原创 2019-04-16 11:20:06 · 210 阅读 · 0 评论 -
SSH免登陆配置原理(Hadoop伪分布式搭建)
SSH免登陆配置原理1.原理图:简单来说:如果要在A上免登陆B,则需要将A的公钥拷贝给B2.具体实现:cd ~/.shh/ 即 home 下的 .ssh 文件夹;ssh-keygen -t rsa 执行过程中回车即可(四个回车),执行完后会生成两个文件:id_rsa(私钥)、id_rsa.pub(公钥)将公钥拷贝到要免登陆的机器上:免登陆本机:1)复制即可:cp id_...原创 2019-02-28 10:50:00 · 1768 阅读 · 0 评论