![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发
文章平均质量分 65
Neil_zk
这个作者很懒,什么都没留下…
展开
-
Tengine安装
从tengine.taobao.org下载tengine将其上传到Linux1、解压:tar -zxf tengine-2.1.0.tar.gz将tengine解压到当前目录2、配置tengine打开解压后的tengine使用命令./configure进行配置信息的设置,直接使用./configure是使用默认的配置信息。配置tengine需要预置gcc pcre pcre-devel openssl openssl-devel zlib zlib-devel3、编译安装ma原创 2021-06-23 20:52:39 · 109 阅读 · 0 评论 -
Hadoop HA原理与搭建
CAP(一致性Consistency,可用性Availability,分区性Partitions) 既要提升系统的可用性 又要保证数据的实时可见 还有提升系统的容错能力 在分布式系统中,无法保证同时满足CAPHadoop 2.x版本Federation和HA分离,HA只能有两个NameNode用于解决单点故障HDFS HA:通过主备NameNode解决如果主NameNode发生故障,则切换到备NameNode上。解决内存受限问题HDFS Federat.原创 2021-06-23 16:02:45 · 176 阅读 · 0 评论 -
Hadoop 完全分布式环境搭建
节点部署:需要1个NameNode,1个SecondaryNameNode,3个DataNodenode1 node2 node3 node4 NameNode DataNode1 DataNode2 DataNode3 SecondaryNameNode 首先四台主机进行免秘钥登录设置:在每台主机上输入命令,生成公钥和私钥:ssh-keygen -t dsa -P '' -f ~/....原创 2021-05-16 20:54:22 · 131 阅读 · 0 评论 -
Hadoop伪分布式搭建
首先将jdk-8u221-linux-x64.rpm和hadoop-2.6.5.tar.gz上传到NameNode(四台虚拟机中的第一台)上tar -zxvf hadoop-2.6.5.tar.gz -C /opt/rpmrpm -ivh jdk-8u221-linux-x64.rpm进入/etc/profile文件在最后一行插入:export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64export PATH=$PATH:$JAVA_HOM...原创 2021-05-16 14:35:29 · 90 阅读 · 0 评论 -
nginx实现动静分离
Nginx动静分离简单来说就是把动态和精通请求分开,不能理解成知识单纯的把动态页面和静态页面物理分离。严格意义上说应该是动态请求和静态请求分开,可以理解成使用Nginx处理静态页面,Tomcat处理动态页面。动静分离从目前实现方式大致分为两种:一是纯粹的把静态文件独立成单独的域名,放在独立的服务器上,也是目前主流推崇的方案。二是动态和静态文件混合在一起发布,通过nginx分开。通过location指定不同的后缀名实现不同的请求转发。本次简单实现了nginx1作为负载均衡服务器,no...原创 2021-05-10 22:17:44 · 234 阅读 · 0 评论 -
nginx使用memcached实现session同步
首先两台real server需要有jdk和tomcat首先安装JDK:node2 与 node3 下:将jdk的rpm包上传到/opt/apps上使用rpm -ivh jdk* 命令进行rpm安装会安装到/usr/java/jdk*目录下然后将在/etc/profile文件的最后一行加上export JAVA_HOME=/usr/java/jdk1.7.0_80/export PATH=$PATH:$JAVA_HOME/bin保存并关闭source /etc/p原创 2021-05-10 21:12:26 · 195 阅读 · 0 评论 -
NGINX通过一个IP搭建多台服务器,实现反向代理
将nginx安装目录下的conf目录下的nginx.conf文件修改成如下:#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;events { use epoll; #使用epoll worker_connec原创 2021-05-07 16:28:46 · 1426 阅读 · 0 评论 -
NGINX安装
Nginx ("engine x") 是一个高性能的 静态HTTP 和 反向代理 服务器,也是一个 IMAP/POP3/SMTP 代理服务器。官方测试nginx能够支撑5万并发链接,并且cpu、内存等资源消耗却非常低,运行非常稳定。Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发,其特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页服务器中表现较原创 2021-05-06 19:00:22 · 133 阅读 · 0 评论 -
LVS(Linux 虚拟服务器)与keepalived的搭建
LVS/NAT:网络地址转换方式1、客户端请求数据,目标IP为VIP2、请求数据达到LB负载均衡服务器,LB根据自己的调度算法将目的地址修改为RIP地址及对应端口,并连接HASH表中记录下这个连接3、数据报从LB负载均衡服务器到达RS服务器RS34、然后RS3进行响应。RS3的网关必须是LB负载均衡服务器的内网IP也就是DIP,然后将数据返回给LB服务器5、LB收到RS的返回后的数据,根据连接HASH表修改源地址VIP和目的地址DIP缺点:NAT模式中请求的报文和响应报文都需要通原创 2021-04-30 21:47:53 · 250 阅读 · 0 评论 -
Linux上nginx源码安装
pwd原创 2021-04-16 17:08:27 · 65 阅读 · 0 评论 -
Linux(CentOS 6)网络及yum源配置
/etc/sysconfig/network 文件中保存了是否连接互联网,和主机名配置网络打开/etc/sysconfig/network-scripts/ifcfg-eth0 将文件修改为如下,IP地址跟VMware的vmnet8在一个网段输入service network restart若出现3个OK,则表示网通了打开/etc/hosts文件,修改为如下:由于2020年底各大厂的centOS 6版本的yum源已经不能用了,可以将/etc/yum.repos.d/CentOS-原创 2021-04-15 13:37:40 · 421 阅读 · 0 评论 -
CentOS安装
打开VMWare Workstations,点击创建虚拟机,下一步选择workstations 12.x -> 下一步点击下一步选择Linux的CentOS 6 64位->下一步选择虚拟机安装位置,并设置虚拟机的名字根据自己电脑情况设置CPU内核数量,我的电脑是6核12进程->下一步根据自己电脑情况设置内存数量,我的电脑是32G->下一步选择NAT -> 下一步下一步下一步下一步一般分配20原创 2021-04-07 16:16:22 · 93 阅读 · 0 评论