qq_34478594的博客

MapReduce经典案例--WordCount代码一.MapReduce工作的三阶段1.Map阶段map阶段将要处理的任务切分成一个个的MapTask，每个MapTask各自计算自己负责计算的内容，也就是将计算分布式。map阶段有两步：1.设置TextInputFormat类，将数据切分为<k1,v1>,输入到第二步。这里k1和v1的切分由hadoop框架帮我们完...

1.什么是RPCRPC（Remote Procedure Call Protocol）远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层，RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用C/S模式，...

问题描述：服务器是一个集群，客户端可以访问任意一个服务器进行交互，但是假如服务器集群中有一台机器下线，此时若客户端不能感知到服务器的上下线情况，则有可能会向下线的那台服务器发送请求，这样就无法访问服务器。思路：借助zookeeper监听服务器上下行动态感知。zookeeper不用关心服务器集群的业务功能，只需要监听服务器集群的上下线即可。解决方法：1.服务端启动时立即注册信息服务器...

zookeeper-java-api1.创建maven项目2.引入依赖: zookeeper netty log4j slf4j slf4j-log4j jline junit<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeepe...

zookeeper集群自动启动脚本我们有三台服务器分别是：node1：192.168.159.128node2：192.168.159.130node3：192.168.159.131我们发现每次启动zookeeper集群都要在每一个服务器中启动一遍，如果集群很大，开启zookeeper都将成为一个很麻烦的事情，我们考虑在某一个服务器里写一个脚本，让它可以自动的启动所有zook...

浅谈zookeeper数据结构及实操之前我们已经掌握了linux基础知识，vim快速入门，linux下的软件安装方法以及shell基础编程，理解了zookeeper的概念和zookeeper集群的搭建，现在我们要深入学习zookeeper，看看他的数据结构是怎样的，又应该怎样操作呢？1. 命令行客户端前置条件：每台服务器的zookeeper服务均开启且处于正常运行状态我们以node...

Zookeeper集群搭建1.说明本文用的linux版本：centos6，准备3台centos6虚拟机，给他们安装zookeeper,每一台的安装过程相同，你也可以安装一台，然后克隆出另外两台。主机名分别为node1，node2，node3。2.准备工作安装java，wgetyum -y install javayum -y install wget3.安装zookee...

（纯干货）从几个实例出发-----理解zookeeper概念（架构分析）什么是zookeeper，对于刚接触分布式的朋友（包括我）来说，这都是一个很难解释的问题。我们在网上或者论文亦或是书籍中看到的zookeeper的概念解释都十分生涩难懂。因此这里我们通过几个案例，我们通过分析这些工程的架构以及改进后的架构来引入zookeeper的概念。1.现在有这样一个需求，有一组（很多台）服务...

shell编程基础1.什么是shellShell是一个命令行解释器,它为用户提供了一个向 Linux内核发送请求以便运行程序的界面系统级程序,用户可以用Shl来启动、挂起、停止甚至是编写一些程序。Shell还是一个功能相当强大的编程语言,易编写,易调试,灵活性较强。Shell是解释执行的脚本语言,在Shell中可以直接调用 Linux系统命令。bash：是Linux标准默认的she...

Linux杂记--------关于在服务器中tomcat开启成功，本地访问404的问题今天遇到一个怪事儿，就是在linux中安装好了tomcat 在文件bin目录下 ./start.sh 开启了tomcat服务之后发现本地访问居然发生404错误。用ps -ef|grep tomcat验证有没有开启成功，打印信息：我在用netstat -nltp看了下，发现8080端口已经开启。...

Linux下软件上传和安装：如何上传安装包到服务器**可以使用图形化工具，如xftp**命令行方式 sftp方式 在会话中按alt+p调出sftp工具，用put命令上传-------------- xshell如何传输文件：------------------------a.打开xshell，连接到服务器b.yum安装lrzsz #yum install lr...

Linux笔记给虚拟机拍摄快照，右键某虚拟机 如centOS1，选择快照-拍摄快照，即可生成快照，下次恢复时可以恢复到相应的快照。日常操作命令：**查看当前所在的工作目录pwd**查看当前系统的时间date**查看有谁在线（哪些人登录到了服务器）who 查看当前在线last 查看最近的登录历史记录3． 文件系统操作 **...

xftp和xshell连接 官网可下载。1.xftp图形化界面连接linux服务器 一般是发送接收文件使用。首先查看自己虚拟机ip地址 一般采用NAT模式连接。虚拟机上用ifconfig查看ip，在windows上下载xshell和xftp。使用xftp连接linux。Xftp连接流程：新建会话配置相关信息：ip ，端口号在linux中用netstat -nltp 查...

VIM快速入门1.使用hjkl移动光标 左下上右2.基本模式：普通模式，插入模式，可视模式，选择模式，命令行模式，Ex模式派生模式：操作符等待模式，插入普通模式，插入可视模式，插入选择模式，替换模式掌握几个常用的模式普通模式： hjkl移动光标进入插入模式：i 在光标的前边进入插入模式I 在光标所在行的行首进入插入模式a 在光标的后边进入插入...