胡子的博客

原创 SSL、https、wss和nginx同时支持https及wss的配置

SSLSSL(Secure Socket Layer，安全套接层) 简单来说是一种加密技术, 通过它, 我们可以在通信的双方上建立一个安全的通信链路, 因此数据交互的双方可以安全地通信, 而不需要担心数据被窃取. 关于 SSL 的深入知识, 可以看这篇文章: SSL/TLS协议运行机制的概述WSSWSS 是 Web Socket Secure 的简称, 它是 WebSocket 的加密版本. 我们...

原创 Specified key was too long; max key length is 767 bytes

Specified key was too long; max key length is 767 bytes原因：mysql innodb引擎 默认索引长度767 bytes解决：1、减少索引字段长度；2、配置innodb_large_prefix=ON，将约束项扩展至3072byte；3、采用前缀索引的方式以减少索引长度；4、改变字符集为gbk、latin1......(呵呵，不推荐)关联知识...

原创 mysql的GTID模式对create table as select的限制

在MYSQL中，执行建表语句时CREATE TABLE  aaaa  AS SELECT * FROM menu;  报：  错误代码： 1786Statement violates GTID consistency: CREATE TABLE ... SELECT.不安全的基于语句复制，实际是两个独立的事件，一个用于建表，一个用于向新表插入源表数据。解决： create ...

原创 mysql查时间

关于时间的查询select current_date as Systemtime;select now() as Systemtime;select sysdate() as Systemtime;关于时间戳的查询，常用作与随机数一起生成一个高唯一性的id作为记录的主键：select UNIX_TIMESTAMP() ;select from_unixtime(UNIX_TIMESTAMP(),...

原创 Got a packet bigger than 'max_allowed_packet' bytes 报错处理

参考文章：https://blog.csdn.net/superit401/article/details/77480078max_allowed_packet 针对的是一个事务中的一行记录大小，当一行记录超过了限制的大小，将会报错。sql文件中每次insert完进同一张表的所有数据被称为一个数据包（packet），max_allowed_packet就是来限制这个的大小的阈值，大于这个值，mys...

原创 利用云负载均衡和nginx实现http转https处理

简写说明：CLB 云负载均衡CVM 云主机http://www.abc.com域名解析->CLB->nginx(rewrite)->CLB->CVM1、CVM2...CVMnhttps://www.abc.com域名解析->CLB->CVM1、CVM2...CVMn为什么不直接：域名解析->nginx->CLB->CVM？域名解析只能指向一个I...

原创 centos环境python3.6下bpython的安装

centos环境python3.6下bpython的安装注意：python3.6下通过python get-pip.py安装的pip可执行文件名为pip3pip3 install bpython......Successfully installed blessings-1.6.1 bpython-0.17.1 certifi-2018.1.18 chardet-3.0.4 curtsies-0....

原创 python从2.6升级到3.6后安装pip报错SSL模块不存在

python从2.6升级到3.6后安装pip报错SSL模块不存在python get-pip.py 报错：pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.解决办法：网上介绍的一种办法，对3.6.5版本而言，无此参数，无效./configu...

原创 mysql数据恢复或数据找回方法

注意：在恢复全备数据之前必须刷新该库binlog，否则恢复过程中，可能会继续写入语句到binlog，最终导致增量恢复数据部分变得比较混乱1、关闭应用，取出全量备份和binlog（腾讯cdb全备的position无法自行定位，需要提工单腾讯技术支持）2、flush logs ; 刷新binlog3、解析binlog，根据时间或其他方法（如：全备时使用--master-data或-...

原创 电信三户模型在其他领域的应用(如物联网)

原创 mysql最大连接数的修改

MySQL查看最大连接数和修改最大连接数1、查看最大连接数show variables like '%max_connections%';2、修改最大连接数 重启后恢复set GLOBAL max_connections = 1000;永久修改：修改MySQL配置文件my.ini 或 my.cnf的参数max_connections，将其改为max_connections=1000，然后重启MyS...

原创 修改sql_mode=only_full_group_by

查看select @@sql_mode;SHOW VARIABLES LIKE '%sql_mode';SHOW GLOBAL VARIABLES LIKE '%sql_mode%';修改配置文件，重启后生效[mysqld]sql_mode=STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION下述处理，重启后恢复原配置关闭se...

原创 Mysql VS Oracle

培训所需，对mysql和oracle做了些简单的对比

原创 mysql培训素材总结

公司部门内部培训，总结了些mysql相关的培训素材，用完了在这里分享下，素材收集自网络，加入了一些个人看法。

原创 关于mysql字符集的修改

按照下述修改mysql配置文件，重启生效==================================================[client]default-character-set=utf8[mysql]default-character-set=utf8[mysqld]init-connect='SET NAMES utf8'character-set-server = utf...

原创 mysql从库在开启GTID时跳过错误的方法

未开启GTID的处理：set global sql_slave_skip_counter=1;如果开启了GTID，则会报错：ERROR 1858 (HY000): sql_slave_skip_counter can not be set when the server is running with @@GLOBAL.GTID_MODE = ON. Instead, for each trans...

原创 python+func远程调用shell脚本执行ssh/scp之类操作失败原因分析

A主机（func主控端）远程调用执行B主机（func受控端）上的sh脚本没有问题，但如果sh脚本里面有ssh、scp之类涉及到C主机ssl鉴权的操作，则执行失败；B主机上的sh脚本直接执行没有问题。原因：通过A主机python去远程调用B主机的sh脚本，因func和应用使用了不同的用户进行安装，当执行到ssh、scp之类的操作时，访问主机的源用户发生变化，将无法通过鉴权，不能正常完成后续操作解决办...

原创 利用shell防止暴力破解，封掉多次访问失败的IP地址

思路是查找/var/log/secure中验证失败且出现的次数较多的ip，对其进行封IP处理。具体方法如下：vi /usr/local/bin/secure.sh#输入以下脚本#! /bin/bashcat /var/log/secure|awk '/Failed/{print $(NF-3)}'|sort|uniq -c|awk '{print $2"="$1;}' > /usr/loca...

原创 测试验证EMQTTD 集群安装配置与测试验证

原文参考，加入了部分对报错的处理(黄底部分)：http://xiangcun168.blog.51cto.com/4788340/1923607配置两台主机hosts192.168.0.10  s1.emqtt.io192.168.0.20  s2.emqtt.io安装配置(s1.emqtt.io)：  安装依赖包 # yum install -y lksctp-tools  安装报错1：采用rp...

原创 daemontools安装及使用技巧

安装参考：https://blog.csdn.net/dynadotwebb/article/details/15808997我主要用来作为zookeeper和kafka的守护进程，效果不错实用技巧启动daemontools： initctl start svscan//启动svscan时，确保需要其守护的服务进程已先行停止，否则会重复启动停止daemontools： initctl ...

原创 利用ssl证书+nginx屏蔽运营商垃圾广告的实现方式

利用ssl证书+nginx屏蔽运营商植入到微信公众号、生活号、手机网页上的垃圾广告nginx的搭建就不说了，只说两点：1、ssl证书申请：根据域名申请ssl证书，我们的域名管理是腾讯云，所以直接在腾讯云上申请了一个免费的ssl证书，包含一个key和一个crt文件，放到nginx对应目录：/etc/nginx；2、ssl配置参考：/etc/nginx/conf.d/ssl.confserver { ...

原创 使用FastDFS搭建图片服务器（单实例）-报错处理

原文地址：https://blog.csdn.net/u010098331/article/details/51646921报错1：/make.sh: line 14: gcc: command not found解决：yum install gcc  报错2：可能启动报错，storage/logs下log报错：No route to host，但却可以ping通tracker解决：目标主机上执行...

原创 kafka报错LEADER_NOT_AVAILABLE

三点集群，之前运行ok，重启后报错：Error while fetching metadata with correlation id 10 : {yqjp-devices-sendPackage=LEADER_NOT_AVAILABLE}伴随报错：Caused by: java.lang.ArithmeticException: / by zero(这个报错貌似是程序架构里面关于kafka的li...

原创 读书笔记系列：系统性能信息模块psutil

系统性能信息模块psutil物理内存total：free -m|grep Mem|awk '{print $2}'物理内存used：free -m|grep Mem|awk '{print $2}'psutil源码安装：wget https://pypi.python.org/packages/source/p/psutil/psutil-2.0.0.tar.gz --no-check-certi...

原创 python笔记系列：文件内容、文件及文件夹的对比difflib、filecmp

文件内容对比#!/usr/bin/pythonimport difflibtext1 = """text1:This module provides classes and functions for comparing sequences.including HTML and context and unified diffs.difflib document v7.4add string"""...

原创 python笔记系列：DNS处理模块dnspython

DNS处理模块dnspythonwget http://www.dnspython.org/kits/1.9.4/dnspython-1.9.4.tar.gztar -zxvf dnspython-1.9.4.tar.gzcd dnspython-1.9.4.tar.gzpython setup.py installdnspython提供的DNS解析器类：resolver，其query方法可实现域...

原创 python笔记系列：IP地址处理模块IPy

IP地址处理模块IPywget https://pypi.python.org/packages/source/I/IPy/IPy-0.81.tar.gz --no-check-certificatetar -zxvf IPy-0.81.tar.gzcd IPy-0.81python setup.py installIP('10.0.0.0/8').version()IP('::1').versi...