- 博客(83)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 Zeppelin0.7.2结合hive解释器进行报表展示
前提：服务器已经安装好了hadoop_client端即hadoop的环境hbase,hive等相关组件1.环境和变量配置①拷贝hive的配置文件hive-site.xml到zeppelin-0.7.2-bin-all/conf下# cp /root/hadoop-2.6.0/conf/hive-site.xml /data/hadoop/zeppelin/zeppelin-0...
2017-07-29 13:17:00
345
原创 hue报错StructuredException: timed out (code THRIFTSOCKET): None的处理
通过hue的web界面进行hive的sql查询，无法显示结果并报错timeout报错如下：[28/Jul/2017 11:23:29 +0800] decorators ERROR error running <function execute at 0x7fa741ddc8c0>Traceback (most recent call last): File ...
2017-07-29 13:15:00
786
原创 centos6.5中部署Zeppelin并配置账号密码验证
centos6.5中部署Zeppelin并配置账号密码验证1.安装JavaZeppelin支持的操作系统如下图所示。在安装Zeppelin之前，你需要在部署的服务器上安装Oracle JDK 1.7或以上版本, 并配置好相应的JAVA_HOME环境变量。以CentOS为例，具体操作过程如下：a)下载并安装jdk-8u111-linux-x64.rpm# rpm -ivh jd...
2017-07-29 13:12:00
1412
1
原创 zabbix3.0.4利用iostat工具监控centos主机磁盘IO
该监控基于iostat,然后iostat 命令用来监视系统输入/输出设备负载1.安装IOSTAT工具# yum install sysstat -y测试iostat 查看所有硬盘io# iostat Linux 2.6.32-431.11.25.el6.ucloud.x86_64 (test8_hadoop_kaf) 07/27/2017 _x86_64_...
2017-07-29 12:50:00
346
原创 Zabbix监控nginx性能的另外一种方式
Zabbix监控nginx性能的另外一种方式 nginx和php-fpm一样内建了一个状态页，对于想了解nginx的状态以及监控nginx非常有用，为了后续的zabbix监控，我们需要先启用nginx状态页1. 启用nginx status配置在默认主机里面加上location或者你希望能访问到的主机里面。server { location /ngx_status {
2017-07-29 09:18:02
798
原创 关于centos7和centos6中平滑升级nginx到新版本v1.12.1修复nginx最新漏洞CVE-2017-7529的解决方案
关于centos7和centos6中平滑升级nginx到新版本v1.12.1修复CVE-2017-7529漏洞的解决方案漏洞描述2017年7月11日，Nginx官方发布最新的安全公告，在Nginx范围过滤器中发现了一个安全问题（CVE-2017-7529），通过精心构造的恶意请求可能会导致整数溢出并且不正确处理范围，从而导致敏感信息泄漏。当使用Nginx标准模块时，如果文件头从缓存返回响应，
2017-07-29 09:17:57
1454
原创 持续集成之⑤:jenkins结合脚本实现代码自动化部署及一键回滚至上一版本
持续集成之⑤:jenkins结合脚本实现代码自动化部署及一键回滚至上一版本一：本文通过jenkins调用shell脚本的的方式完成从Git服务器获取代码、打包、部署到web服务器、将web服务器从负载均衡器删除、解压、复制配置文件、创建软连接、测试每一台web服务器、将web服务器添加至负载均衡、回滚到任意指定版本、一键回滚到上一版本等功能，脚本放在www用户家目录并使用www用户身份执行，每个
2017-07-29 09:17:53
1354
原创 持续集成之④:GitLab触发jenkins构建项目
持续集成之④:GitLab触发jenkins构建项目一：目的为在公司的测试环境当中一旦开发向gitlab仓库提交成功代码，gitlab通知jenkins进行构建项目、代码质量测试然后部署至测试环境，注意这只是测试环境，而生产环境依然需要手动部署代码：1.1：jenkins配置：1.1.1:安装Gitlab Hook Plugin插件：#系统管理-管理插件-可选插件-Gitlab Hook Pl
2017-07-29 09:17:50
4369
原创 持续集成之③:将代码自动部署至测试环境
持续集成之③:将代码自动部署至测试环境一：本文在上一篇文章的基础之上继续进行操作，上一篇实现了从git获取代码并进行代码测试，本文将在上一篇的基础之上实现将代码部署至测试环境。1.1：新建一个项目叫web-demo-deploy用于代码发布，上一个项目web-demo可用于代码测试，当测试阶段出现问题的时候也不会立即进行发布，只有当测试通过之后才执行发布的项目即可：1.2：如何将代码发布到
2017-07-29 09:17:45
1675
原创 持续集成之②:整合jenkins与代码质量管理平台Sonar并实现构建失败邮件通知
持续集成之②:整合jenkins与代码质量管理平台Sonar并实现构建失败邮件通知一：Sonar是什么？Sonar 是一个用于代码质量管理的开放平台，通过插件机制，Sonar 可以集成不同的测试工具，代码分析工具，以及持续集成工具。与持续集成工具（例如 Hudson/Jenkins 等）不同，Sonar 并不是简单地把不同的代码检查工具结果（例如FindBugs，PMD等）直接显示在Web页面上
2017-07-29 09:17:43
884
原创 持续集成①安装部署jenkins从git获取代码
持续集成①安装部署jenkins从git获取代码一：持续集成的概念：1.1:总体的概括持续集成Continuous Integration持续交付Continuous Delivery持续部署Continuous Deployment 1.2：什么是持续集成：持续集成是指开发者在代码的开发过程中，可以频繁的将代码部署集成到主干，并进程自动化测试1.3：什么是持续交付：持续交付指
2017-07-29 09:17:40
4594
原创 服务器性能自动化测试脚本
1.自动化测试脚本unixbenchyum install -y wgetwget --no-check-certificate https://github.com/teddysun/across/raw/master/unixbench.shchmod +x unixbench.sh./unixbench.sh115.231.102.80:Double-Precision Whetsto
2017-07-29 09:17:37
1498
原创 ubuntu server 14.04 上安装jdk1.8
ubuntu server 14.04 上安装jdk1.81.使用apt-get安装oracle-jdk安装oracle jdksudo apt-get install python-software-propertiessudo add-apt-repository ppa:webupd8team/java # 时间比较久，需要耐心等待sudo apt-get install softwa
2017-07-29 09:17:34
303
原创 运维与自动化系列④自动化部署基础与git
运维与自动化系列④自动化部署基础与git自动化部署基础与git一：上一篇的代码是保存在本地，但是在生产环境当中是由版本控制进行代码管理，以便于发布代码和回滚，一般是使用gitlib比较多，另外还有用svn的公司，趋势是git为主，因此本文以git为使用对象1.1：在git服务器新建一个web组和项目web-demo：准备web页面并提交至git服务器(此处我用一个简单的html项目，大家如
2017-07-29 09:17:30
1007
原创 运维与自动化系列③自动化部署基础与shell脚本实现
自动化部署基础与shell脚本实现关于自动化的基础知识：1.1：当前代码部署的实现方式：运维纯手工scp到web服务器纯手工登录git服务器执行git pull或svn服务器执行svn update更新代码通过xftp上传代码开发打压缩包上传到服务器然后解压缺点：1.需要运维全程参与，占用大量的工作时间2.上线时间比较慢3.人为造成的失误较多，管理比较混乱4.回滚复杂而且慢，还不及时1.
2017-07-29 09:17:27
4213
原创 运维与自动化系列②自动化安装和部署
自动化安装和部署概述一、自动化安装1.采购–>验货–>签字，验货单，盖公章。2.资产管理：资产录入–>机房、区域、排、机柜、位置、配置（资产管理，验收单）（自动化获取）3.RAID-（验货的时候）RAID,自动化进行配置4.CMDB：资产录入–>机房、区域、排、机柜、位置、配置。MAC地址清单。+（后期收集） 资产收集、录入，管理和AP，并且展示。 5. 开机 关机 重启（IPMI）6
2017-07-29 09:17:24
516
原创 运维与自动化系列①运维与自动化概述
运维与自动化概述一：运维工作内容分类： 1).机房运维（负责服务器上下架、IP配置与划分、服务器打标签、机房定期巡检、服务器故障报修、服务器硬件监控) 2).基础设施运维（系统安装及初始化、网络维护） 3).监控运维（7×24运维值班、简单故障处理、通知相关业务负责人） 4).基础服务运维（包含运维开发）（内部DNS管理、负载均衡配置、系统监控报警、硬件资产管理平台、监控平台搭建、代
2017-07-29 09:17:22
881
原创 Git系列②之部署企业级开源仓库gitlab服务器
Git系列②之部署企业级开源仓库gitlab服务器上一篇我们介绍了github的常见使用方法，下面开始部署本地开源仓库gitlabGitLab 是一个用于仓库管理系统的开源项目。 1.安装配置gitlab依赖项 如想使用Postfix来发送邮件,在安装期间请选择'Internet Site'. 您也可以用sendmai或者 配置SMTP服务并使用SMTP发送邮件在 Centos7系统上, 下面
2017-07-29 09:17:19
1585
原创 Git系列①之仓库管理互联网托管平台github.com的使用
互联网项目托管平台github.com的使用1.安装git客户端# yum install -y git配置git全局用户以及邮箱[root@web01 ~]# git config --global user.name "jack"[root@web01 ~]# git config --global user.email "reblue520@163.com"[root@we
2017-07-29 09:17:14
1402
原创 win10安装MarkdownPad 2报错This view has crashed的处理及md简单语法
# #开头是段落的意思不带#号是普通内容# 下划线的写法是两个#号## # 列表的写法，以*号开头* spring* summer* autumn* winter# 以竖线开头> tomcat.war# 链接url的写法[www.baidu.com](http://www.baidu.com) # 图片image的写法![baidu](https://
2017-07-29 09:17:11
2264
2
原创 fpm定制化RPM包之nginx rpm包的制作
fpm定制化RPM包之nginx rpm包的制作1.安装ruby模块# yum -y install ruby rubygems ruby-devel 2.添加阿里云的Rubygems仓库,国外资源会影响下载速度gem sources -a http://mirrors.aliyun.com/rubygems/ http://mirrors.aliyun.com/rubygems
2017-07-29 09:17:07
482
原创 mysql管理工具percona-toolkit-3简单使用介绍
安装percona-toolkit-3# yum localinstall percona-toolkit-3.0.3-1.el6.x86_64.rpm perl-TermReadKey.x86_64 0:2.30-13.el6 -y 1.pt-summary #显示和系统相关的基本信息：[root@master ~]# pt-summary # Percona Toolkit S
2017-07-29 09:17:04
864
原创 web缓存服务器varnish-4.1.6的部署及配置详解
web缓存服务器varnish-4.1.6的部署及配置详解1.安装varnish4.1.6安装依赖yum install -y autoconf automake jemalloc-devel libedit-devel libtool ncurses-devel pcre-devel pkgconfig python-docutils python-sphinx安装varnish yu
2017-07-29 09:16:54
472
原创 elasticsearch5.0.1集群排错的几个思路总结
1.首先查看集群整体健康状态# curl -XGET http://10.27.35.94:9200/_cluster/health?pretty{"cluster_name" : "yunva-es","status" : "red","timed_out" : false,"number_of_nodes" : 7,"number_of_data_nodes" : 6,"ac
2017-07-29 09:16:49
485
原创 解决tomcat报错javax.imageio.IIOException: Can't create output stream!
启动tomcat catalina.out报错如下，登陆的时候无法显示验证码2017-06-09 11:23:06,628 DEBUG org.springframework.web.servlet.DispatcherServlet 845 - DispatcherServlet with name 'spring-mvc' processing GET request for [/dat
2017-07-29 09:16:46
656
原创 MySQL高可用方案－PXC(Percona XtraDB Cluster)环境部署详解
MySQL高可用方案－PXC(Percona XtraDB Cluster)环境部署详解Percona XtraDB Cluster简称PXC。Percona Xtradb Cluster的实现是在原mysql代码上通过Galera包将不同的mysql实例连接起来，实现了multi-master的集群架构。下图中有三个实例，组成了一个集群，而这三个节点与普通的主从架构不同，它们都可以作为主节点，
2017-07-29 09:16:41
1107
原创 mysql5.6基于主从复制的mmm高可用架构详解
MMM规划192.168.3.12 master192.168.3.13 slave1192.168.3.198 slave2MMM部署步骤1.配置主主复制及主从同步集群2.安装主从节点所需要的支持包3.安装及配置MMM工具集4.运行MMM监控服务5.测试一、环境初始化1、修改主机名主机: master执行命令# sed -i 's/HOSTNAME=.*/HOSTNAME=master/
2017-07-29 09:16:36
469
原创 OpenStack实践系列⑨云硬盘服务Cinder
OpenStack实践系列⑨云硬盘服务Cinder八、cinder8.1存储的三大分类块存储：硬盘，磁盘阵列DAS，SAN存储 文件存储：nfs，GluserFS，Ceph（PB级分布式文件系统），MooserFS（缺点Metadata数据丢失，虚拟机就毁了）11.2网络类型选择对象存储：swift，S38.2 cinder控制节点的部署安装cinder[root@node1 ~]#
2017-07-29 09:16:31
938
原创 OpenStack实践系列⑧可视化服务Horizon之Dashboard演示
OpenStack实践系列⑧可视化服务Horizon之Dashboard演示七、可视化服务Horizon之Dashboard演示仪表板依赖于功能核心服务，包括身份，图像服务，计算和网络两种（neutron）或传统网络（nova-neutron）。与独立的服务环境，如对象存储不能使用仪表板。 配置和使用在安装和配置标识服务节中描述了ApacheHTTP服务器和Memcached的服务认证服务的运
2017-07-29 09:16:29
626
原创 OpenStack实践系列⑦深入理解neutron和虚拟机
OpenStack实践系列⑦深入理解neutron和虚拟机五、深入理解Neutron5.1 虚拟机网卡和网桥[root@node1 ~]# ifconfig brq65c11cc3-8e: flags=4163 mtu 1500inet 192.168.3.199 netmask 255.255.255.0 broadcast 192.168.3.255ether 00:50:56
2017-07-29 09:16:26
514
原创 OpenStack实践系列⑥构建虚拟机实例
OpenStack实践系列⑥构建虚拟机实例四、创建一台虚拟机图解网络，并创建一个真实的桥接网络 创建一个单一扁平网络（名字：flat），网络类型为flat，网络适共享的（share），网络提供者：physnet1，它是和eth0关联起来的( /etc/neutron/plugins/ml2/linuxbridge_agent.ini配置文件中配置项中的内容physical_inter
2017-07-29 09:16:21
291
原创 OpenStack实践系列⑤网络服务Neutron
OpenStack实践系列⑤网络服务Neutron3.8 Neturn 服务部署注册neutron服务[root@node1 ~]# source admin-openrc.sh[root@node1 ~]# openstack service create --name neutron --description "OpenStack Networking" network+----
2017-07-29 09:16:18
501
原创 Zabbix3.0.4监控Windows的CPU使用百分比并在CPU使用率超过90%触发报警
Zabbix3.0.4监控Windows的CPU使用百分比Zabbix 自带的模块没有 CPU 使用率（百分比）这个监控项，我们可以通过添加计数器的方式实现 CPU 百分比的监控。1.在Zabbix 的 WEB 端进行模板配置添加 CPU 百分比监控项目*. 配置–模块–选择对应的模板–项目–创建项目名称：CPU 百分比键值：perf_counter[\Processor(_Total)\
2017-07-29 09:16:14
14990
3
原创 zabbix-3.0.4添加对windows 2008r2的监控
zabbix-3.0.4添加对windows 2008r2的监控一、windows客户端的配置关闭windows防火墙或者开通10050和10051端口(1)、关闭防火墙(不推荐直接关闭，测试可以这样做，尤其是最近勒索病毒猛烈)开始—控制面板—windows防火墙(2)、开通zabbix需要用到的端口（推荐）1、开始—管理工具--高级安全windows防火墙2、选着左边入站规则--点击右边新
2017-07-29 09:16:09
8735
1
原创 OpenStack实践系列④计算服务Nova
OpenStack实践系列④计算服务Nova3.6 Nova控制节点的部署创建服务的凭证，完成下列步骤:创建nova用户，并加入到service项目中，赋予admin权限[root@node1 ~]# source admin-openrc.sh[root@node1 ~]# openstack user create --domain default --password=nova n
2017-07-29 09:16:04
518
原创 OpenStack实践系列③镜像服务Glance
OpenStack实践系列③镜像服务Glance3.5 Glance部署修改glance-api和glance-registry的配置文件，同步数据库[root@node1 ~]# vim /etc/glance/glance-api.conf538 connection=mysql://glance:glance@192.168.3.199/glance[root@node1 ~]
2017-07-29 09:16:02
859
原创 OpenStack实践系列②认证服务Keystone
OpenStack实践系列②认证服务Keystone三、实战OpenStack之控制节点3.1 CentOS7的时间同步服务器chrony下载chrony# yum install -y chrony 修改其配置文件# vim /etc/chrony.confallow 192.168/16chrony开机自启动，并且启动# systemctl enable chron
2017-07-29 09:15:59
1153
原创 OpenStack实践系列①openstack简介及基础环境部署
OpenStack实践系列①openstack简介及基础环境部署一、OpenStack初探1.1 OpenStack简介 OpenStack是一整套开源软件项目的综合，它允许企业或服务提供者建立、运行自己的云计算和存储设施。Rackspace与NASA是最初重要的两个贡献者，前者提供了“云文件”平台代码，该平台增强了OpenStack对象存储部分的功能，而后者带来了“Nebula”平台形成了O
2017-07-29 09:15:54
3382
原创 lvs+keepalived实现负载均衡
LVS简介：lvs是负载均衡较常用的软件之一，lvs官方提供了一个命名的约定：vip：虚拟ip地址，缩写是vip，vip是负载均衡器对外提供服务的ip。rip：真实ip地址，缩写是rip，rip是集群下面节点上使用的ip地址。dip：负载均衡器的真实ip，用于连接内外网络的ip。cip：客户端的ip地址，访问来源ip。lvs的工作模式有如下几种，直接路由（dr）模式、nat模式、tun
2017-07-29 09:15:49
437
原创 percona-xtrabackup工具实现mysql5.6.34的主从同步复制
percona-xtrabackup工具实现mysql5.6.34的主从同步复制下载并安装percona-xtrabackup工具# wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.7/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.7-1.e
2017-07-29 09:15:44
369
3
产品安全之道 安全测试理论与实践
2012-08-07
PHP 面向对象技术(全面讲解)
2012-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人