![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
前朝那些事
这个作者很懒,什么都没留下…
展开
-
Hadoop 序列化机制
序列化是指将结构化对象转化为字节流以便在网络上传输或者写到磁盘上进行永久存储的过程,反序列化是指将字节流转回结构化对象的逆过程序列化用于分布式处理的两大领域,进程间通信和永久存储。在Hadoop中,系统中多个节点上进程间的通信是通过“远程过程调用”(remote procedure call, RPC)实现的。RPC将消息序列化成二进制流后发送到远程节点,远程节点接着将二进制流饭序列化为原始...原创 2019-07-01 15:31:03 · 517 阅读 · 0 评论 -
IDEA远程debug Hadoop源码
在$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件的最后添加你想debug的进程#远程调试namenodeexport HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"#远程调试datanodeexport HADOOP_DATAN...原创 2019-06-30 17:51:50 · 424 阅读 · 0 评论 -
IDEA开发hadoop mapreduce 引入 Maven 依赖
<!-- hdfs程序需要引入依赖:--> <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.8.2</version>...原创 2019-06-30 17:30:54 · 2946 阅读 · 0 评论 -
Hadoop 集群资源管理系统YARN
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是Hadoop的集群资源管理系统,YARN被引入Hadoop 2,最初是为了改善MapReduce的实现,但它具有的通用性,同样支持其他的分布式应用。在MapReduce 1中,有两类守护进程控制着作业执行过程,一个jobtracker及一个或者多个tasktracker。j...原创 2019-07-05 14:56:26 · 489 阅读 · 0 评论 -
HDFS原理
HDFS分布式文件系统介绍Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS架构HDFS主要...原创 2019-06-27 11:51:51 · 294 阅读 · 0 评论 -
Hadoop 安装后验证
准备工作格式化hdfs:hadoop namenode -format ,这是一个过时的命令,不过也可以使用启动hadoop:start-all.sh ,这也是一个过时的命令,不过用起来很方便查看进程执行jps命令(不包括jps应该有5个进程) NameNode SecondaryNameNode DataNode ...原创 2019-06-24 14:31:02 · 1576 阅读 · 0 评论 -
Hadoop安装以及配置文件初始化修改
一、hadoop安装1、上传安装包2、在家目录创建一个cloud目录 mkdir /home/cloud3、解压 tar -zxvf hadoop-1.1.2.tar.gz -C /home/cloud/二、hadoop配置文件修改1、修改hadoop-env.shvimhadoop-env.shexport JAVA_HOME=/us...原创 2019-06-24 11:26:18 · 4132 阅读 · 1 评论 -
Linux SSH无密码登录配置以及原理
SSH无密码登录配置配置当前主机无密码登录首先执行cd ~/.ssh我们可以进入.ssh目录,此时我们可以发现只有一个文件生成ssh免登录密钥 :执行 ssh-keygen -t rsa 命令,执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)输入3个回车键将公钥拷贝到要免登陆的机器上:执行 cp id_rsa.pub authori...原创 2019-06-24 09:49:12 · 347 阅读 · 0 评论 -
MapReduce工作机制
原创 2019-07-01 20:57:48 · 192 阅读 · 0 评论 -
Hadoop MapReduce 类型和格式
Hadoop的MapReduce中,map函数和reduce函数遵循如下常规格式:map(k1,v1)------->list(k2,v2)reduce(k2,list(v2))------->list(k3,v3)一般来说,map函数的键值类型(k1和v1)不同于输出类型(k2和v2)。然而reduce函数的输入类型必须和map函数的输出类型相同。但是reduce函数的输出类型...原创 2019-07-01 20:36:51 · 370 阅读 · 0 评论 -
Hadoop RPC 机制以及源码分析
什么是RPCRPC(Remote Procedure Call)—远程过程调用,是一种用于构建基于C/S(客户端/服务器)的分布式应用程序技术,调用者和被调用者可能在同一台服务器也不能不在同一台服务器,使用RPC可以使调用远程方法像调用本地方法一样简单,而且网络通信是透明的,不需要知道通信细节。RPC调用的流程1、服务消费方(client)调用以本地调用方式调用服务;2、client s...原创 2019-07-15 19:57:22 · 239 阅读 · 0 评论