- 博客(39)
- 收藏
- 关注
RSS订阅
原创 tpc-ds基准测试案例-hive
环境条件及测试套件准备Hdp-3.0.0 Hive-3.1.0 Hdfs-3.1.0 Maven，如果未安装在tpcds-build时，自动安装 下载hive -testbench-hdp3.zip ，根据自己安装的环境下载对应的测试套件 https://github.com/hortonworks/hive-testbench编译并打包相应的数据生成器# unzi...
2019-04-09 16:29:03
3730
5
原创 Docker Registry采用token认证实践
Docker Registry的Token认证token认证过程图解详细介绍6个步骤Step 1，Client 向registry 发起连接Step 2，未认证响应(Unauthorized response)Step 3&4，认证endpoint通讯Step 5&6，最后沟通方案实践目录层级说明CA创建mongodb存储mongodb容器启动配置建库并写入数据auth_serve...
2019-03-21 16:23:53
6201
原创 hive on spark
部署包全部及部署文档下载地址：链接：https://pan.baidu.com/s/1M1rUDSkzPVVpCL9qTDbilg提取码：heqw压缩包内容hadoop-setup.txt和spark-setup.txt是hadoop、hive和spark的安装配置文档...
2019-04-18 20:41:12
216
原创 mysql 二进制包安装
环境：centos6.5mysql5.6.31步骤：1.解压包到/usr/local#cd /usr/local#tar zxvf mysql-5.6.31-linux-glibc2.5-x86_64.tar.gz2.重命名#mvmysql-5.6.31-linux-glibc2.5-x86_64 mysql3.增加mysql用户#groupadd m...
2019-04-01 09:01:29
375
原创 JVM检测
jstack(查看线程)、jmap(查看内存)、jstat(性能分析)jstack pidjmap pidjmap -dump:[live,]format=b,file=heap.bin pid（导出内存，据说对性能有影响）jmap -finalizerinfo 打印正等待回收的对象信息jmap -heap 打印heap的概要信息，GC使用的算法，heap的配置及...
2019-04-01 09:01:05
226
原创 expect使用心得
expect脚本的主要组成部分spawn 调用要执行的命令expect 等待命令提示信息的出现，也就是捕捉用户输入的提示send 发送需要交互的值，替代了用户手动输入内容set 设置变量值interact执行完成后保持交互状态，把控制权交给控制台，这个时候就可以手工操作了。如果没有这一句登录完成后会退出，而不是留在远程终端上。expect eof 这个一定要加，与spawn对应表示捕...
2019-04-01 09:00:58
405
原创 shell中使用bc计算
bc是linux自带的一款任意精度计算器，个人觉得挺好用比let exec好用稍微举几个栗子：echo "scale=2;100.00+10.55" | bcecho "scale=2;100.00*10.55" | bcscale表示精度，这里scale=2表示小数点后面保留两位，一般的加减乘除。这个小数点的保留是根据输入数据的精度来算的，取最长精度那个。但是，...
2019-04-01 09:00:51
1662
原创 linux查看系统信息
一、查看cpu信息# 总核数 = 物理CPU个数 X 每颗物理CPU的核数# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpui...
2019-04-01 09:00:45
82
原创 Nginx安装第三方模块check_upstream-module
nginx版本：nginx-1.6.3.tar.gzcheck_upstream-module下载链接：https://github.com/yaoweibin/nginx_upstream_check_module一开始试了nginx-1.10.1和nginx1.11.1，在打补丁的时候都报错了，nginx1.6.3打补丁成功步骤：下载nginx-1.6...
2019-04-01 09:00:30
1190
原创 nginx重定向配置（rewrite）
需求：将http://www.tomatohouse.cn/wenjuan/login.html?a=1&username=wnagyijie重定向到http://www.surveyunion.com/questionnaire/wYDM0AHI/?personid=A_4060_4_wangyijie蓝色字体可以随意路径，红色字体要获取的，“?a=1&user...
2019-04-01 09:00:25
262
原创 nginx_stub_status + nginx_upstream_check_module
前者是nginx自监控，后者是nginx后端负载监控nginx_stub_status的配置：server{ location /nginx-status { allow 192.168.4.51; deny all; stub_status on; ...
2019-04-01 09:00:19
415
原创 win7下安装centos双系统
一.安装所需软件1.分区助手专业版(必需)：用来对硬盘分区，将磁盘的一部分格式化成Linux可以识别的ext3格式2.Ext2Fsd(硬盘安装必需，光盘安装不用)：因为Windows不能识别ext3格式的文件系统，所以需要借助这个软件将linux安装文件放到ext3的磁盘，如果是使用光盘安装，则不需要这个软件3.EasyBCD(必需)：用于添加和修改启动项4.WinGrub(建议使...
2019-04-01 09:00:09
1688
原创 MYSQL单机多实例
1.解压包到/usr/local#cd /usr/local#tar zxvf mysql-5.6.31-linux-glibc2.5-x86_64.tar.gz2.重命名#mvmysql-5.6.31-linux-glibc2.5-x86_64 mysql3306#cp -rp mysql3306 mysql33073.增加mysql用户#groupadd...
2019-03-29 14:24:18
350
原创 Docker构建自己的bridge网络
Docker Daemon启动的时候默认使用docker0作为网络适配器，我们可以在启动docker daemon时，使用-b BRIDEG或者--bridge=BRIDGE来指定网络适配器。操作如下：# Stopping Docker and removing docker0$ sudo service docker stop$ sudo ip link set dev d...
2019-03-29 14:24:13
350
原创 Docker数据卷迁移、备份
1、创建临时容器，挂载dbstore的数据卷，并挂载当前路径至容器的/backup目录#docker run --rm --volumes-from dbstore \ -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar /dbdata2、创建一个名为dbstore2的容器，并创建一个/dbdata的挂载点#docker ...
2019-03-29 14:24:07
885
原创 galera for mysql
前期准备三台虚拟机： 192.168.137.52192.168.137.53192.168.137.54系统环境： # yum install gcc gcc-c++# yum install boost-devel# yum install scons check-devel openssl-devel开始安装mysqlmysql的版本一定是要打过wsre...
2019-03-29 14:23:40
297
原创 mysql支持表情存储，字符集相关问题
1.设置数据库，表，字段的编码格式及排序规则在此之前需要删除表的外键，因为在修改表的编码时用到了convert to，如果不用convert to就不需要删除外键了。convert to这个有待本人研究！>alter tablenoticedrop foreign keyFK_notice;>alter tablenoticedrop forei...
2019-03-29 14:23:32
366
原创 mysql主从复制，读写分离
一、Mysql主服务器Master配置1、修改主服务器配置: #vi /etc/my.cnf binlog-do-db=db1 #根据具体要复制的库进行添加 binlog-do-db=db2 binlog-do-db=db3 binlog-ignore-db = mysq...
2019-03-29 14:23:27
133
原创 数据库主从配置与主从重置
一、master_db /etc/my.cnf内容binlog-do-db=zhxqbinlog-do-db=registerbinlog-ignore-do=mysqlreplicate-do-db=zhxqreplicate-do-db=registerreplicate-ignore-db=mysqllog-bin=mysql-binserver-id=...
2019-03-29 14:23:21
605
原创 mysql-cluter搭建
环境：centos6.8mysql-cluster版本：mysql-cluster-gpl-7.4.11-linux-glibc2.5-x86_64.tar.gz节点分配：192.168.41.203 SQL节点192.168.41.204 NDB节点1 SQL节点192.168.41.205 NDB节点2 SQL节点192.168.41.206 Man...
2019-03-29 14:23:14
280
原创 mycat安装
1.安装JDK# yum -y install java-1.7.0-openjdk#/usr/bin/java -versionjava version "1.7.0_85"OpenJDK Runtime Environment (rhel-2.6.1.2.el7_1-x86_64 u85-b01)OpenJDK 64-Bit Server VM (build 24.85-...
2019-03-29 14:23:09
136
原创 mycat高可用，keepalived+haproxy
高可用mycat结构拓扑图主机配置 角色 IP地址 Proxy Master 192.168.137.54 Proxy Backup 192.168.137.53 Mycat Server 1 192.168.137.52...
2019-03-29 14:23:02
333
原创 Docker存储空间清理方法
一、/var/lib/docker/volumes清理一般我们直接执行docker rm container_id的时候不会删除容器下挂载的数据卷，久而久之，/var/lib/docker/volumes目录越来越大，所以我们要定期清理不需要数据卷。执行docker rm container_id -v可以在删除容器的同时删除卷。1.查看volu...
2019-03-28 17:12:42
16728
原创 Docker存储驱动模式更改
1.devicemapper介绍Device Mapper是Linux系统中基于内核的高级卷管理技术框架。Docker的devicemapper存储驱动就是基于该框架的精简置备和快照功能来实现镜像和容器的管理。Device Mapper是Linux的一种技术框架，而devicemapper是Docker Engine基于Device Mapper提供的一种存储驱动。早期的Docke...
2019-03-28 17:06:57
2222
2
原创 Tomcat 调优
一、提高JVM栈内存/tomcat/bin/setenv.shJAVA_OPTS="-Djava.awt.headless=true -Dfile.encoding=UTF-8 -server -Xms1024m -Xmx1024m xms与xmx为物理内存的1/4 -XX:NewSize=512m -XX:MaxNewSize=512m -XX:Per...
2019-03-28 10:27:47
191
原创 单机多tomcat实例部署
本文省略了JDK的配置，我的JAVA_HOME=/usr/jdk，JRE_HOME=/usr/jdk/jre1.理解两个概念CATALINA_HOME：是tomcat安装的目录，意思就是跟tomcat这个软件运行相关的CATALINA_BASE：是跟你项目相关的目录CATALINA_HOME：包括bin、libCATALINA_BASE：包括webapps、conf、work、...
2019-03-28 10:27:06
171
原创 Tomcat开启远程调试功能
在setenv.sh文件中输入以下内容：declare -x CATALINA_OPTS="-server -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8899"然后重启tomcat
2019-03-28 10:25:33
265
原创 Tomcat修改默认页面
修改$tomcat/conf/server.xml文件 在server.xml文件中，有一段如下： …… <engine name="Catalina" defaultHost="localhost"> <host name="localhost" appBase="webapps" ...
2019-03-28 10:24:25
3602
原创 Tomcat启动慢，竟是因为这个？
场景重现： CentOS7.2 JDK1.7 Tomcat8启动tomcat日志：根据日志，在执行createSecureRandom时，消耗了328秒。根据百度，tomcat7及以后的版本，依赖SecureRandom这个类为它的session id获取随机数，这会导致在tomcat启动时造成非常大的耗时。...
2019-03-28 10:18:21
199
原创 Cloudinit Cloud config examples部分参数解释
一、用户和用户组# Add groups to the system# The following example adds the ubuntu group with members foo and bar and# the group cloud-users.groups:- ubuntu: [foo,bar]- cloud-users# Add users...
2019-03-28 09:29:07
2942
原创 Oracle RAC部署（二）一些值得注意的地方
第三部分 一路上的坑坑洼洼1、节点互信配置完秘钥认证后，运行图形界面的节点以grid用户运行：$exec /usr/bin/ssh-agent $SHELL$ssh-add在两个节点分别执行，这里一个都不能落下，因为第一次连接是需要输入yes or no，会将信息写入~/.ssh/known_hostsnode1：#ssh rac1 date#ssh ra...
2019-03-28 09:22:19
464
1
原创 Oracle RAC部署（一）
第一部分 大概的准备1、系统环境和oracle rac版本centos6.7oracle 11.0.42、关闭防火墙，更改安全策略机制#service itpables stop#service ip6tables stop#chkconfig iptables off#chkconfig ip6tables off#setenforce 03、两个节...
2019-03-28 09:20:36
3003
1
原创 利用dotnet和mono在Linux上构建.NET项目
利用dotnet和mono在Linux上构建.NET项目环境安装dotnet-sdk安装mono第一次测试代码编译发布修改.csproj配置，增加netframework引导提醒第二次测试代码编译发布后续环境centos7.2jenkinsdotnet-sdk-2.2mono-devel安装dotnet-sdk参考链接：https://dotnet.microsoft.com/l...
2019-03-22 16:17:52
1403
原创 云镜像优化过程
一、centos6.8cloudinit配置文件？/etc/cloud/cloud.cfgusers:- defaultdisable_root: 0ssh_pwauth: 0locale_configfile: /etc/sysconfig/i18nmount_default_fields: [~, ~, 'auto', 'defaults,nofail', '0', '...
2016-09-28 17:09:52
427
原创 镜像文件分区扩展
一、安装guestfish套件yum install libguestfs-tools支持windows系统镜像yum install libguestfs-winsupport二、常用命令1.virt-inspector 显示os版本、内核、驱动、挂载点、应用等等virt-inspector centos_40G.qcow22.虚拟机分区及文件系统查...
2016-09-28 01:10:13
285
原创 NFS网络文件系统
server端：192.168.1.11安装nfs服务#yum -y install rpcbind nfs-utils修改配置文件#vim /etc/exportfs共享目录 允许访问IP段(属性)/opt/share 192.168.2.0/24(rw)还有更多属性client端：192.168.2.12安装nfs服务#yum -y ins...
2016-08-15 21:50:05
56
原创 SQL分析
从简到繁通过show status了解SQL的执行频率：SHOW STATUS LIKE 'Com_%';定位执行效率较低的SQL：这一部分看慢日志查询EXPLAIN分析低效SQL的执行计划：关注以下几个参数值select_type：表示SELECT类型，SIMPLE（简单表，不实用表连接或子查询）、PRIMARY（主查询）、UNION（UNION中的...
2016-04-15 16:54:40
70
原创 利用系统镜像安装gcc
利用系统镜像安装gcc和crontab1. 挂载镜像，在/media目录下新建目录Centosmount [镜像文件名] /media/Centosgcc在Centos的第一张光盘下crontab在Centos的第一张光盘下2. 修改/etc/yum.repos.d/CentOS-Media.repo内容：[c6-media...
2015-11-05 09:18:48
792
原创 实现数据库自动备份与备份文件转移
实现数据库自动备份与备份文件转移一． tcl和expect的安装将压缩包都解压在/usr目录下进入tcl解压目录，然后进入unix目录 #./configure #make #make install后安装expect，进入expect解压目录#./configure --with-tclinclude=/usr/src/tcl8.4.19/generic/...
2015-11-05 09:13:36
149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人