APM-pinpoint实践

环境

部署环境

ip目录功能备注
10.225.254.178/usr/local/hadoop/hadoop
/usr/local/hbase/hbase
/usr/local/zookeeperzookeeper
10.225.254.179/usr/local/hadoop/hadoop
/usr/local/hbase/hbase
/usr/local/zookeeperzookeeper
10.225.254.180/usr/local/hadoop/hadoop
/usr/local/hbase/hbase
/usr/local/zookeeperzookeeper
10.225.255.141/usr/local/tomcatppcollectorcollector
/usr/local/tomcatppwebbakweb

试验环境

ip目录功能备注
10.255.209.25zk
10.255.254.78DB
10.3.253.25/data/tomcat/apache-tomcat-orderweb
10.3.25.79/data/wms-app-order/wms-biz-job
/data/wms-app-order/wms-biz-main
/data/wms-app-order/wms-platform-main
/data/wms-app-order/wms-transfer-out-main

基础系统部署

一、环境说明

集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个node,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下:

HostnameIPUserPassword
master10.255.254.178hadooptesthadooptest
node110.255.254.179hadooptesthadooptest
node210.255.254.180hadooptesthadooptest

三个节点均使用CentOS 6.5系统,为了便于维护,集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构。

二、准备工作

2.1 安装JDK

在三台机器上配置JDK环境,下载 jdk-8u51-Linux-x64.rpm 文件直接安装:
rpm -ivh jdk-8u51-linux-x64.rpm
修改配置文件 vim /etc/profile:
jdk环境变量配置
然后重新加载配置文件使之生效:
source /etc/profile

2.2 添加HOSTS映射关系

分别在三个节点上添加hosts映射关系:
host映射关系

2.3 集群之间SSH无密码登陆

CentOS默认安装了ssh,如果没有你需要先安装ssh 。
集群环境的使用必须通过ssh无密码登陆来执行,本机登陆本机必须无密码登陆,主机与从机之间必须可以双向无密码登陆,从机与从机之间无限制。

2.3.1 设置MASTER无密码自登陆

主要有三步:①生成公钥和私钥、②导入公钥到认证文件、③更改权限

ssh-keygen -t rsa -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh && chmod 600 ~/.ssh/*

测试,第一次登录可能需要yes确认,之后就可以直接登录了:

ssh localhost
Last login: Sat Jun 18 22:57:44 2015 from localhost

对于 node1 和 node2,进行无密码自登陆设置,操作同上。

2.3.2 设置主机->从机的无密码登录
cat ~/.ssh/id_rsa.pub | ssh hadooptest@slave1 'cat - >> ~/.ssh/authorized_keys'
cat ~/.ssh/id_rsa.pub | ssh hadooptest@slave2 'cat - >> ~/.ssh/authorized_keys'

测试:

[hadoop@master ~]$ ssh hadooptest@node1
Last login: Sat Jun 18 23:25:41 2017 from master
[hadoop@master ~]$ ssh hadooptest@node2
Last login: Sat Jun 18 23:25:14 2017 from master
2.3.3 设置从机->主机的无密码登录

分别在node1、node2上执行:

cat ~/.ssh/id_rsa.pub | ssh hadooptest@master 'cat - >> ~/.ssh/authorized_keys'

三、HADOOP集群安装配置

这里会将hadoop、hbase、zookeeper的安装包都解压到/usr/local/文件夹下,并重命名为hadoop、hbase、zookeeper。
目录查看

3.1 修改HADOOP配置

配置文件都在$hadoop/etc/目录下

3.1.1 CORE-SITE.XML

core-site配置

3.1.2 HADOOP-ENV.SH

添加JDK路径:
jdk路径配置

3.1.3 HDFS-SITE.XML

hdfs-site.xml配置

3.1.4 MAPRED-SITE.XML

mappred-site.xml配置

3.1.5 修改MASTERS文件

master配置

3.1.6 修改SLAVES文件

slave配置
注意:三台机器上都进行相同的配置,都放在相同的路径下。
使用scp命令进行从本地到远程(或远程到本地)的轻松文件传输操作:

scp -r /usr/local/hadoop     node1:/usr/local/hadoop
scp -r /usr/local/hadoop     node2:/usr/local/hadoop

3.2 启动HADOOP集群

进入master的/usr/local/hadoop目录,执行以下操作:

bin/hadoop namenode -format

格式化namenode,第一次启动服务前执行的操作,以后不需要执行。
然后启动hadoop:

sbin/start-all.sh

通过jps命令能看到除jps外有5个进程:
进程查看

四、ZOOKEEPER集群安装配置

解压zookeeper-3.4.10.tar.gz并重命名为zookeeper。

4.1 修改配置文件ZOO.CFG

进入/usr/local/zookeeper/conf目录:
cp zoo_sample.cfg zoo.cfg
拷贝zoo_sample.cfg文件为zoo.cfg,并编辑如下:
zk配置

4.2 新建并编辑MYID文件

在dataDir目录下新建myid文件,输入一个数字(master为1,node1为2,node2为3):

mkdir /zookeeper/data
echo "1" > /zookeeper/data/myid

同样使用scp命令进行远程复制,只不过要修改每个节点上myid文件中的数字。

scp -r /usr/local/zookeeper     node1:/usr/local/zookeeper 
scp -r /usr/local/zookeeper     node2:/usr/local/zookeeper 

4.3 启动ZOOKEEPER集群

在ZooKeeper集群的每个结点上,执行启动ZooKeeper服务的脚本:

cd /usr/local/zookeeper/bin/;./zkServer.sh start
  1. 如果启动报类似异常:QuorumCnxManager@384] - Cannot open channel to 2 at election address slave-02/192.168.0.178:3888 是可以忽略的,因为该服务启动时会尝试连接所有节点,而其他节点尚未启动。通过后面部分可以看到,集群在选出一个Leader后,最后稳定 了。其他结点可能也出现类似问题,属于正常。
  2. 关闭防火墙。在hadoop集群环境(linux系统)中最好关闭防火墙,不然会出现很多问题,例如namenode找不到datanode等。如果不关闭防火墙,客户端使用API操作HDFS以及ZooKeeper,可能就会出现下面常见的两种异常:
    1) 使用API操作HDFS时会出现异常:java.net.NoRouteToHostException: No route to host
    2) 使用API操作ZK时会出现异常:org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for xxxx
  3. 使用root权限登陆后,输入关闭防火墙命令:
    /etc/init.d/iptables stop
    service iptables stop
  4. 修改禁用selinux: /etc/selinux/config文件,设置”SELINUX=disabled”

五、HBASE集群安装配置

解压hbase-1.0.1.1-bin.tar.gz并重命名为hbase。

5.1 HBASE-ENV.SH

export JAVA_HOME=/usr/java/jdk1.8.0_51
export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop/
export HBASE_MANAGES_ZK=false

5.2 HBASE-SITE.XML

hbase-site.xml

5.3 更改 REGIONSERVERS

在 regionservers 文件中添加slave列表:
regionservers配置

5.4 分发并同步安装包

将整个hbase安装目录都拷贝到所有slave服务器:

scp -r /usr/local/hbase  node1:/usr/local/
scp -r /usr/local/hbase  node2:/usr/local/

六、启动集群

6.1.启动ZOOKEEPER

/usr/local/zookeeper/bin/zkServer.sh start

6.2.启动HADOOP

/usr/local /hadoop/sbin/start-all.sh

6.3.启动HBASE

/usr/local /hbase/bin/start-base.sh

6.4.启动后,MASTER上进程和SLAVE进程列表

master

slave

slave

6.5.进入HBASE SHELL进行验证

hbaseshell
部署完成后可以通过页面验证
hbase:http://10.255.254.178:60010/tablesDetailed.jsp
hadoop:http://10.255.254.178:50070/dfshealth.html#tab-overview

PINPOINT部署

ip目录作用备注
10.225.255.141/usr/local/tomcatppcollectorcollector
/usr/local/tomcatppwebbakweb

1、 下载war包,或自己编译自定义版本

https://github.com/naver/pinpoint/releases

2、 将war包上传至141服务器对应的容器目录中,启动容器

/usr/local/tomcatppcollector/webapps/ROOT
/usr/local/tomcatppwebbak/webapps/ROOT

3、 配置说明

hbase.properties 配置我们pp-web从哪个数据源获取采集数据,这里我们只指定Hbase的zookeeper地址。
jdbc.properties pp-web连接自身Mysql数据库的连接认证配置。
sql目录 pp-web本身有些数据需要存放在MySQL数据库中,这里需要初始化一下表结构。
pinpoint-web.properties 这里pp-web集群的配置文件,如果你需要pp-web集群的话。
applicationContext-* .xml 这些文件在后续的调优工作中会用到。
log4j.xml 日志相关配置。

4、 修改web配置

4.1 Jdbc配置

告警用的,若不使用告警,也可以不配置(我是直接部署上的,没有尝试不部署会不会影响启动)
jdbc

4.2修改hbase配置

hbase

4.3修改pinpoint配置

pinpoint配置

5、 修改pinpoint collector配置

5.1修改hbase配置

hbase

5.2修改pinpoint collector配置

pp collector

6、 初始化数据库

执行pinpoint提供的Hbase初始化语句,这时会初始化一会

6.1上传hbase-create.hbase脚本
cd $hbase
./hbase shell /home/pp_res/hbase-create.hbase

通过./hbase shell或者http://10.255.254.178:60010/tablesDetailed.jsp界面查看

7、 启动

7.1启动ppcollector
/usr/local/tomcatppcollector/bin/startup.sh
7.2 启动web
/usr/local/tomcatppwebbak/bin/startup.sh

应用配置

10.3.253.25配置

将PINPOINT AGENT上传至服务器目录/OPT/PINPOINT161/
ppagent

修改PINPOINT的配置

将profiler.collector.ip的值修改成collector服务器ip,这里的配置项较多,不一一解释,根据自己的实际需求配置(一般情况下默认即可)
这里写图片描述
采集应用配置指向采集器部署的服务器

进入TOMCAT部署目录修改CATALINA.SH

将agent配置到启动java_opts中,需要注意的是agent_id必须唯一,applicationname是在web界面显示用的,最好起的有意义一些
这里写图片描述

RESTART应用

restart应用

10.3.25.79配置

将PINPOINT AGENT上传至服务器目录/OPT/PINPOINT161/

这里写图片描述

修改PINPOINT的配置

这里写图片描述
采集应用配置指向采集器部署的服务器

修改应用的启动脚本

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

查看效果

1、 打开pinpointweb部署的url:此实验为http://10.255.255.141:8280/
这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
微服务是什么?微服务是用于构建应用程序的架构风格,一个大的系统可由一个或者多个微服务组成,微服务架构可将应用拆分成多个核心功能,每个功能都被称为一项服务,可以单独构建和部署,这意味着各项服务在工作和出现故障的时候不会相互影响。为什么要用微服务?单体架构下的所有代码模块都耦合在一起,代码量大,维护困难,想要更新一个模块的代码,也可能会影响其他模块,不能很好的定制化代码。微服务中可以有java编写、有Python编写的,他们都是靠restful架构风格统一成一个系统的,所以微服务本身与具体技术无关、扩展性强。大型电商平台微服务功能图为什么要将SpringCloud项目部署到k8s平台?SpringCloud只能用在SpringBoot的java环境中,而kubernetes可以适用于任何开发语言,只要能被放进docker的应用,都可以在kubernetes上运行,而且更轻量,更简单。SpringCloud很多功能都跟kubernetes重合,比如服务发现,负载均衡,配置管理,所以如果把SpringCloud部署到k8s,那么很多功能可以直接使用k8s原生的,减少复杂度。Kubernetes作为成熟的容器编排工具,在国内外很多公司、世界500强等企业已经落地使用,很多中小型公司也开始把业务迁移到kubernetes中。kubernetes已经成为互联网行业急需的人才,很多企业都开始引进kubernetes技术人员,实现其内部的自动化容器云平台的建设。对于开发、测试、运维、架构师等技术人员来说k8s已经成为的一项重要的技能,下面列举了国内外在生产环境使用kubernetes的公司: 国内在用k8s的公司:阿里巴巴、百度、腾讯、京东、360、新浪、头条、知乎、华为、小米、富士康、移动、银行、电网、阿里云、青云、时速云、腾讯、优酷、抖音、快手、美团等国外在用k8s的公司:谷歌、IBM、丰田、iphone、微软、redhat等整个K8S体系涉及到的技术众多,包括存储、网络、安全、监控、日志、DevOps、微服务等,很多刚接触K8S的初学者,都会感到无从下手,为了能让大家系统地学习,克服这些技术难点,推出了这套K8S架构师课程。Kubernetes的发展前景 kubernetes作为炙手可热的技术,已经成为云计算领域获取高薪要掌握的重要技能,在招聘网站搜索k8s,薪资水平也非常可观,为了让大家能够了解k8s目前的薪资分布情况,下面列举一些K8S的招聘截图: 讲师介绍:  先超容器云架构师、IT技术架构师、DevOps工程师,曾就职于世界500强上市公司,拥有多年一线运维经验,主导过上亿流量的pv项目的架构设计和运维工作;具有丰富的在线教育经验,对课程一直在改进和提高、不断的更新和完善、开发更多的企业实战项目。所教学员遍布京东、阿里、百度、电网等大型企业和上市公司。课程学习计划 学习方式:视频录播+视频回放+全套源码笔记 教学服务:模拟面试、就业指导、岗位内推、一对一答疑、远程指导 VIP终身服务:一次购买,终身学习课程亮点:1. 学习方式灵活,不占用工作时间:可在电脑、手机观看,随时可以学习,不占用上班时间2.老师答疑及时:老师24小时在线答疑3. 知识点覆盖全、课程质量高4. 精益求精、不断改进根据学员要求、随时更新课程内容5. 适合范围广,不管你是0基础,还是拥有工作经验均可学习:0基础1-3年工作经验3-5年工作经验5年以上工作经验运维、开发、测试、产品、前端、架构师其他行业转行做技术人员均可学习课程部分项目截图   课程大纲 k8s+SpringCloud全栈技术:基于世界500强的企业实战课程-大纲第一章 开班仪式老师自我介绍、课程大纲介绍、行业背景、发展趋势、市场行情、课程优势、薪资水平、给大家的职业规划、课程学习计划、岗位内推第章 kubernetes介绍Kubernetes简介kubernetes起源和发展kubernetes优点kubernetes功能kubernetes应用领域:在大数据、5G、区块链、DevOps、AI等领域的应用第章  kubernetes中的资源对象最小调度单元Pod标签Label和标签选择器控制器Replicaset、Deployment、Statefulset、Daemonset等四层负载均衡器Service第四章 kubernetes架构和组件熟悉谷歌的Borg架构kubernetes单master节点架构kubernetes多master节点高可用架构kubernetes多层架构设计原理kubernetes API介绍master(控制)节点组件:apiserver、scheduler、controller-manager、etcdnode(工作)节点组件:kube-proxy、coredns、calico附加组件:prometheus、dashboard、metrics-server、efk、HPA、VPA、Descheduler、Flannel、cAdvisor、Ingress     Controller。第五章 部署多master节点的K8S高可用集群(kubeadm)第六章 带你体验kubernetes可视化界面dashboard在kubernetes中部署dashboard通过token令牌登陆dashboard通过kubeconfig登陆dashboard限制dashboard的用户权限在dashboard界面部署Web服务在dashboard界面部署redis服务第七章 资源清单YAML文件编写技巧编写YAML文件常用字段,YAML文件编写技巧,kubectl explain查看帮助命令,手把手教你创建一个Pod的YAML文件第八章 通过资源清单YAML文件部署tomcat站点编写tomcat的资源清单YAML文件、创建service发布应用、通过HTTP、HTTPS访问tomcat第九章  kubernetes Ingress发布服务Ingress和Ingress Controller概述Ingress和Servcie关系安装Nginx Ingress Controller安装Traefik Ingress Controller使用Ingress发布k8s服务Ingress代理HTTP/HTTPS服务Ingress实现应用的灰度发布-可按百分比、按流量分发第十章 私有镜像仓库Harbor安装和配置Harbor简介安装HarborHarbor UI界面使用上传镜像到Harbor仓库从Harbor仓库下载镜像第十一章 微服务概述什么是微服务?为什么要用微服务?微服务的特性什么样的项目适合微服务?使用微服务需要考虑的问题常见的微服务框架常见的微服务框架对比分析第十章 SpringCloud概述SpringCloud是什么?SpringCloud和SpringBoot什么关系?SpringCloud微服务框架的优缺点SpringCloud项目部署到k8s的流程第十章 SpringCloud组件介绍服务注册与发现组件Eureka客户端负载均衡组件Ribbon服务网关Zuul熔断器HystrixAPI网关SpringCloud Gateway配置中心SpringCloud Config第十四章 将SpringCloud项目部署到k8s平台的注意事项如何进行服务发现?如何进行配置管理?如何进行负载均衡?如何对外发布服务?k8s部署SpringCloud项目的整体流程第十五章 部署MySQL数据库MySQL简介MySQL特点安装部署MySQL在MySQL数据库导入数据对MySQL数据库授权第十六章 将SpringCLoud项目部署到k8s平台SpringCloud的微服务电商框架安装openjdk和maven修改源代码、更改数据库连接地址通过Maven编译、构建、打包源代码在k8s中部署Eureka组件在k8s中部署Gateway组件在k8s中部署前端服务在k8s中部署订单服务在k8s中部署产品服务在k8s中部署库存服务第十七章 微服务的扩容和缩容第十八章 微服务的全链路监控什么是全链路监控?为什么要进行全链路监控?全链路监控能解决哪些问题?常见的全链路监控工具:zipkin、skywalking、pinpoint全链路监控工具对比分析第十九章 部署pinpoint服务部署pinpoint部署pinpoint agent在k8s中重新部署带pinpoint agent的产品服务在k8s中重新部署带pinpoint agent的订单服务在k8s中重新部署带pinpoint agent的库存服务在k8s中重新部署带pinpoint agent的前端服务在k8s中重新部署带pinpoint agent的网关和eureka服务Pinpoint UI界面使用第十章 基于Jenkins+k8s+harbor等构建企业级DevOps平台第十一章 基于Promethues+Alert+Grafana搭建企业级监控系统章 部署智能化日志收集系统EFK 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值