hadoop
kaikai_sk
我的个人主页:https://kaikai-sk.github.io/
爱生活/爱技术
Public:
(1) https://past.date-conference.com/proceedings-archive/2022/html/0878.html
【证书】
软件设计师(软考中级)
展开
-
hadoop之Configuration.java
/** A new configuration. */ public Configuration() { this(true); } /** * A new configuration where the behavior of reading from the default * resources can be turned off. *原创 2017-08-27 21:26:12 · 820 阅读 · 0 评论 -
hadoop之hdfs
1.对hdfs的操作方式:hadoop fs xxx hadoop fs -ls / 查看hdfs的根目录下的内容的 hadoop fs -lsr / 递归查看hdfs的根目录下的内容的 hadoop fs -mkdir /d1 在hdfs上创建文件夹d1 hadoop fs -put 把数据从linux上传到hdfs的特定路径中 hadoop fs -ge原创 2017-08-27 21:36:48 · 355 阅读 · 0 评论 -
Zookeeper的搭建
卸载Ubuntu自带的openjdksudo apt-get remove openjdk* 安装JDK检测集群时间是否同步date同步之date -s(--s)检测防火墙是否关闭ufw disable //ubuntu 关闭防火墙service iptables stop//centos 关闭防火墙chkconfig i...原创 2018-03-19 20:41:51 · 163 阅读 · 0 评论 -
负载均衡
简介集群中的应用服务器(节点)通常被设计成无状态,用户可以请求任何一个节点。负载均衡器会根据集群中每个节点的负载情况,将用户请求转发到合适的节点上。负载均衡器可以用来实现高可用以及伸缩性:高可用:当某个节点故障时,负载均衡器会将用户请求转发到另外的节点上,从而保证所有服务持续可用;伸缩性:根据系统整体负载情况,可以很容易地添加或移除节点。负载均衡器运行过程包含两个部分:根据负载...原创 2019-03-06 11:03:32 · 141 阅读 · 0 评论 -
HDFS之NameNode的实现
1. 文件系统的目录树1.1. INodeabstract class INode implements Comparable<byte[]> { //文件/目录名称 protected byte[] name; //父目录 protected INodeDirectory parent; //最近一次的修改时间 protected long modifi...原创 2019-03-19 20:55:24 · 792 阅读 · 0 评论 -
Hadoop中的远程过程调用
IPC接口/** * Superclass of all protocols that use Hadoop RPC. * Subclasses of this interface are also supposed to have * a static final long versionID field. */public interface VersionedProtocol ...原创 2019-03-19 21:21:34 · 477 阅读 · 0 评论 -
消息队列
消息模型点对点消息生产者向消息队列中发送了一个消息之后,只能被一个消费者消费一次。发布/订阅消息生产者向频道发送一个消息之后,多个消费者可以从该频道订阅到这条消息并消费。发布与订阅模式和观察者模式有以下不同:观察者模式中,观察者和主题都知道对方的存在;而在发布与订阅模式中,发布者与订阅者不知道对方的存在,它们之间通过频道进行通信。观察者模式是同步的,当事件触发时,主题会调用观察...原创 2019-03-08 09:31:44 · 115 阅读 · 0 评论 -
Java远程方法调用(RMI)
远程接口远程接口必须声明为public远程接口必须继承java.rmi.Remote远程接口中的方法必须将java.rmi.RemoteException声明于其throws子句中作为参数或者返回值的远程对象,必须声明为其对应的远程接口,而不是实际的实现类Examplepackage com.sk.RMI;import java.rmi.Remote;im...原创 2019-03-18 21:14:41 · 253 阅读 · 0 评论