Darren的博客

一、规划角色TIPS：ZKFC和NN成对出现 NN：独享硬件 ZK：单独一个集群二、ZK配置（在node02、node03、node04上安装ZK）1、解压2、配置环境变量（node02、node03、node04都配置，配置完成记得加载profile文件）vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.7.0_67...

1、产生背景Hadoop1.*中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS：NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性MapReduce：JobTracker访问压力大，影响系统扩展性 难以支撑除MapReduce之外的计算框架，比如Spark、Storm等2、1.*和2.*区别Hado...

1、角色规划2、对node02、node03、node04免秘钥（将管理节点的公钥给到其他节点，并追加到认证文件。）scp id_dsa.pub node02:`pwd`/node01.pubscp id_dsa.pub node03:`pwd`/node01.pubscp id_dsa.pub node04:`pwd`/node01.pubcat node01.pub &g...

一、免秘钥1、生成秘钥ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa-t：类型-P：密码-f：文件生成路径（公钥）2、对自己免密钥ls -a：显示隐藏文件cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keysssh root@node01二、JDK配置环境（rpm...

一、版本Hadoop Release 2.6.5二、软件java、ssh三、问题3.1、免秘钥登录：避免每台机器进行登录验证，使用命令ssh-keygen生成公钥和私钥，将管理节点的公钥给到管理的节点，然后想要连接时，通过密钥进行验证。3.2、ssh找不到Javassh远程登陆时，不会加载etc目录下的profile文件。不知道java安装位置，也就是读取不到环境变量，...

1、它不是NN的备份（但可以做备份），它的主要工作是帮助NN合并edits log，减少NN启动时间。2、SNN执行合并时机根据配置文件设置的时间间隔fs.checkpoint.period 默认3600秒 根据配置文件配置edits logs大小，fs.checkpoint.size规定edits文件的最大值默认是64MB3、namenode启动的时候，首先将映像文件(fsimage...

1、NameNode（NN）基于内存存储：不会和磁盘发生交换 只存在内存中 持久化NameNode主要功能 接受客户端的读写服务 收集DataName汇报的Block列表信息NameNode保存metadata信息包括 文件ownership和permissions 文件大小、时间 （Block...

1、HDFS原理：一个节点登记，其他节点存数据，其他节点存完数据向登记节点回报。2、存储模型（字节）：文件线性切割成块（Block：偏移量、位置信息） 偏移量 offset（byte） offset：块的第一个字节面向原文件的下标 第一个字节下标是0 如果一个块是四个字节，那么第一个块是0、1、2、3，第二个块的偏移量是4Block分散存...

1、官方网站http://hadoop.apache.rog2、组成2.1、Hadoop Common：工具类2.2、Hadoop Distributed File System（HDFS）：分布式存储系统分布式存储系统 提供了高可靠性、考扩展性和高吞吐率的数据存储服务2.3、Hadoop YARN（2.*新增）：分布式资源管理负责集群资源的管理和调度2.4、Hado...

一、添加默认网关route -n：查看路由表route add default gw 192.168.217.11：添加默认网关二、安装jdk（可自己下载tar包安装，此处采用的是rpm方式安装）准备jdk.rpm文件 rpm -ivh --prefix /usr/local jdk-7u67-linux-x64.rpm：将jdk安装到/usr/local目录 rpm -qa ...

一、数据采集器log_format：日志格式定义 main：日志格式名称 access_log：日志文件路径二、基本配置1、配置server#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs...

一、NginxNginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/OP3/SMTP代理服务器。 第一个公开版本0.1.0发布于2004年10月4日。 源代码以BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的小号而闻名。 Nginx能够支撑5万并发连接（官方），且cpu、内存等资源消耗却非常低，运行非常稳定。 1.0.1发布于2011年6月1...

1、Tomcat单个tomcat支持最高并发（千级别） 怎么解决高并发问题，解决单个服务器过载问题2、高并发Nginx最高并发（五万） Tengine最高并发（十万）3、Nginx作用反向代理 负载均衡4、架构图...

一、准备1、ipvsadm -C（清空ipvs规则）2、ifconfig eth:1 down（清除LVS的VIP）二、KeepAlived安装yum install keepalived三、配置主机1、复制配置文件cp keepalived.conf keepalived.bakcat keepalived.conf2、编辑配置文件vi keepali...

1、DR模型的缺点LVS单点故障（keepalived） RS单点故障2、单点故障怎么办？一变多：多个同时提供服务 一个提供服务（主备模型）3、主机故障怎么通知备机？使用监控：心跳机制，备机间隔性的向主机发送数据包，获取主机活着的信息。 广播机制，主机间隔性的向外发送自己活着的广播包，备机被动接收即可。重试机制：当一次没有收到时，再次重试。4、是多台备机如何选...

★★★文章的所有配置都是临时配置，重启失效★★★一、DR实验拓扑图二、准备3台虚拟机LVS：node01（192.168.217.11）RS：node02（192.168.217.12）、node03（192.168.217.13）三、配置3台虚拟机的网络要求：L...

一、隐藏VIP方法：对外隐藏，对内可见1、Kernel parameter目标mac地址为全F，交换机触发广播 /proc/sys/net/ipv4/conf/*IF*/ arp_ignore：定义接受到ARP请求时的响应级别 0（默认）：只要本地配置的有相应地址，就给予响应 1：仅在请求的目标（mac）地址配置请求到达的接口上的时候，才给予响应。arp...

一、LVSVIP：虚拟服务器地址 DIP：转发的网络地址 1、和RIP通信：ARP协议，获取Real Server的RIP：MAC地址 2、转发Client的数据包到RIP上（隐藏的VIP）RIP：后端真实主机（后端服务器） CIP：客户端IP地址二、集群中承载数据的两种方式镜像：存储能力不变切片：存储能力叠加三、S_NET（目标地址转换）...

一、7L参考模型7、应用层+表示层（nginx软件）协议：http、ssh、smtphttp：字符串的书写格式、表现形式，以及两端方法的交互方式。作用：只负责字符串的封装（GET /）4、会话层+传输控制层（LVS）协议：tcp（面向连接的、可靠的）、udp（不是面向连接的、不可靠的）IP:PROT-IP:PORT表格：netstat -anp（a：显示所有 n：使...

1、循环遍历文件每一行，并打印行数1.1、目标文件1.2、实现1：#!/bin/bashnum=0for i in `cat test.txt`; do #使用cat命令读取test文件 echo $i ((num++))doneecho num:$numecho "==========================================="ol...

help：ifif ls -l / ;then echo "ok"; else echo "no";fiif ls -l /god &> /dev/null ;then echo "ok"; else echo "no";fiwhilemkdir /godwhile ls -l /god; do echo "ok"; rm -fr /god; done...

引用&命令替换双引号：弱引用，参数扩展 单引号：强引用，不可嵌套 大括号扩展不能被引用 命令执行前删除引用（不能打印单引号和双引号）a=100echo $aecho "$a"echo '$a'echo "\"$a\""退出状态&逻辑判断反引号：`ls -l /` $(ls -l /) 可以嵌套 echo $?：打印上一个命令的退出状态 com...

变量本地 当前shell拥有 生命周期随shell name=god局部 只能local用于函数 val=100位置 $1,$2,${11}特殊（适用于脚本） $#：位置参数个数 $*：参数列表，双引号引用为一个字符串 $@：参数列表，双引号引用为单独的字...

重定向：不是命令程序自身独有I/O0：标准输入 1：标准输出 2：错误输出控制程序I/O位置一切皆文件/proc/$$/fd程序是否处理I/O绑定顺序：从左到右cd /proc/$$/fdps -fe | grep nginxnginx：有master和worker（工作进程）两个进程cd /proc/nginxPID/fd1、重定向操作符前面是命令的文件...

一、shell bash解释器，启动器解释器：用户交互输入 文本文件输入二、脚本本质#!/bin/bash#!/usr/bin/python：python脚本，写的是python解释器三、读取方式当前shell：source .新建子shell：/bean/bash file ./file.sh 《chmod +x file.sh》mkdir shellcp ...

编译安装 rpm安装：包 yum安装：仓库yum安装 C/S基于rpm包管理提供rpm仓库repo：/etc/yum.repos.d/ baseurl=仓库位置 http:// file:// ftp://gpgcheck=1/0 enable=0/1repodata目录：packages目录的元数据原理：yum使...

编译安装 rpm安装：包 yum安装：仓库RPM安装Redhat提供了rpm管理体系已经编译的软件包：针对不同的平台系统编译目标软件包操作系统维护安装信息软件包包含依赖检查，但还需人为解决rpm安装：rpm -ivh fileName（vh可不要） rpm --prefixrpm升级：rpm -Uvh rpm -Fvhrpm卸载：rpm -e fileN...

编译安装 rpm安装：包 yum安装：仓库编译安装tengine：nginx淘宝的开源版1、上传2、解压：tar xf tengine-2.1.0.tar.gz3、源码编译make命令使用的前置文件：makefile查看readme文件：Installation4、安装步骤step1：查看参数说明./configure --help | more安装目录（usr：安装程序目...

添加用户：useradd user1useradd user2设置密码：passwd 修改root密码passwd user1 修改user1密码创建share目录添加组：groupadd sharegroup查看用户：id user1：用户id + 组id + 属于哪个组（默认属于自己的分组，可以多个组）finger user1cat /etc/passwd | ...

cut sort wc sed > vi awkcut：显示切割的行数据f：选择显示的列 s：不显示没有分隔符的行 d：自定义分隔符例子：cut -d‘ ’ -f1 test.txt用空格做为分隔符，显示第一列cut -d‘ ’ -s -f1 test.txt用空格做为分隔符，显示第一列，并且只显示有分隔符的行cut -d‘ ’ -s -f1,3 test.tx...

grep：显示匹配行v：反显示 e：使用扩展正则表达式模式匹配：*：0到多个字符?：单个任意字符（??：两个任意字符，可叠加）匹配操作符：\：转义支付 .：匹配任意单个字符 [1249a],[^12],[a-k]：字符序列单字符占位（^：取反） ^：行首 $：行尾 \<,\>：\<abc：单词首尾边界 |：连接操作符 (,)：选择操作符 \...

VI 全屏文本编辑器打开文件vim a.logvim +# a.log：打开文件，并定位于第#行:set nu：设置行号:set nonu：取消设置行号vim + a.log：打开文件，定位至最后一行（大写G --- 直接按住shfit + g）vim +/PATTERN a.log：打开文件，定位至第一次被PATTERN匹配到的行的行首ctrl + a：将命令行光标调到开始位置...

查看文件cat a.log（读取文件，并打印到屏幕）more a.log（读取文件，并打印到屏幕，慢慢显示）less a.log（读取文件，并打印到屏幕，反复查看，空格下，B上）head a.log（读取文件，查看前10行）head -3 a.log：前三行tail a.log（读取文件，查看后10行）tail -3 a.log：后三行head -3 a.log | tail -2：显...

df：显示磁盘使用情况du：显示文件系统使用情况ls：显示目录cd：切换工作目录pwd：显示当前工作目录mkdir：创建目录rm：删除cp：拷贝mv：移动in：链接stat：元数据lsls -lls -l -a （-ls -la）：显示所有文件（隐藏文件）ls -l /tec /tmp：可接多个目录ls -li：第一列是磁盘索引位置cd （cd ~、cd...

Linux一切皆文件根目录：dev：设备文件bin（binary）：可执行文件，用户命令sbin（system binary）：管理命令boot：引导程序etc：配置文件（类似windows控制面板）home：用户的家目录，每个用户的家目录默认为/home/usernamelib、lib64：扩展库文件media：挂载点目录，移动设备mnt：挂载点目录，额外的临时文件系统...

df：磁盘空间df -h （有单位）sda3：硬盘a的第三分区sda1：硬盘a的第一分区mounted on：挂载在哪个目录下添加用户：useradd god卸载boot目录的挂载：umount /boot将a硬盘1分区挂载到boot目录下：mount /dev/sda1 /bootboot目录：grub（引导程序）vi /boot/grub/...

man- 用户命令（/bin、/usr/bin/、usr/local/bin）- 系统调用- 库用户- 特殊文件（设备文件）- 文件格式（配置文件的语法）- 游戏- 杂项（Msicellaneous）- 管理命令（/sbin，/usr/sbin/，usr/local/sbin）1、utf-8用几个字节表示一个字符？答案：不是具体的值，例如：汉子“中”，...

1、登陆ssh root@192.168.217.112、命令类型type + 命令type ifconfig3、文件类型file /sbin/ifconfigELF：二进制可执行程序的格式4、安装外部命令的帮助程序和帮助文档yum install man man-pages5、yum命令type yumfile /usr/bin/yum：scrip...

1、关闭防火墙service iptables stop：关闭当前运行防火墙chkconfig：系统服务关注点：3列和5列chkconfig iptables off：永久关闭防火墙2、关闭内核安全管理模块cd /etc/selinux/vi configi修改SELINUX=disabledesc + :wq3、删除文件：物理地址绑定了网卡...

1、配置网络cd /etc/sysconfig/network-scriptslsvi ifcfg-eth0i测试删除：HWDDR（硬件地址 ）测试删除：UUIDONBOOT=yes（是否开机）BOOTPROTO=static（类型）2、查看IPVMWare - 编辑 - 虚拟网络编辑器点击NAT模式ip第四位是192.168.x.0：网络号...