- 博客(13)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 Mysql不区分大小写问题--旧库的表大写问题
1.mysql修改为不区分大小写vim /etc/my.cnf[mysqld]#设置为1表示不区分大小写lower_case_table_names=1重启mysql服务service mysql restart查看是否修改成功mysql> show variables like "%case%";+------------------------+----...
2018-08-30 17:58:38
809
原创 No operations allowed after connection closed连接异常的解决
No operations allowed after connection closed错误原因及解决之所以会出现这个异常，是因为MySQL5.0以后针对超长时间DB连接做了一个处理，那就是如果一个DB连接在无任何操作情况下过了8个小时后(Mysql 服务器默认的“wait_timeout”是8小时)，Mysql会自动把这个连接关闭。这就是问题的所在，在连接池中的connections如果空...
2018-08-23 10:58:06
56999
4
转载 Impala负载均衡方案
概述Impala分为是三个组件，statestored/catalogd和impalad，其中statestored和catalogd是单点的，没有高可用的需求，因为这两个实例是无状态的，本身不存储任何数据，例如catalogd的数据存储在第三方数据库(例如mysql中)，statestore的数据全都存储在内存中，可以通过简单的主备的方式来实现高可用，本文最后会提到。正常情况下只有maste...
2018-08-21 16:11:28
491
原创 Impala时区问题
默认impala配置不是中国的时区，所以在用from_unixtime的时候，有八个小时的时间差。解决方案1： impala启动时加 -use_local_tz_for_unix_timestamp_conversions=true。 在cdh里面，impala->配置->mpala Daemo ->Impala Daemon 命令行参数高级配置代码段（安全阀） ...
2018-08-21 15:54:39
5212
4
转载 impala常用日期函数
增加月份add_months(timestamp date, int months)add_months(timestamp date, bigint months)Return type: timestampusage:add_months(now(),1)增加日期adddate(timestamp startdate, int days), adddate(timestamp s...
2018-08-21 15:50:39
19322
转载 Hive TopN+分组TopN
TopN可以通过sort by limit N 来实现 比 通过order by limit N 来实现要快得多 个人感觉sort by使用的时候如果能合理使用distribute by的话会更均衡一些 sort by可以启动多个reduce，每个reduce做局部排序，但是这对于sort by limit N已经够用了。 第一个JOB是在每个reduce中做局部排序，然后分别取TOP ...
2018-08-17 17:17:09
870
原创 CDH5.15卸载指南
在部署CDH的时候，难免会遇到一些问题需要重新安装，在重新安装前必要删除旧的CDH。在删除CDH前，注意要备份好数据。先备份或转移集群中的重要数据，再进行集群的卸载。像一些重要的用户数据，默认的存储路径是在/var/lib/下面，一些组件如HDFS/Impala/Kudu的数据根据安装时的目录来查看。 下面开始卸载CDH。1. 停止所有的服务1.1 停止组件服务打开 Clou...
2018-08-17 11:20:46
7222
1
转载 MySQL数据备份之mysqldump使用
mysqldump常用于MySQL数据库逻辑备份。1、各种用法说明A. 最简单的用法：mysqldump -uroot -pPassword [database name] > [dump file]上述命令将指定数据库备份到某dump文件（转储文件）中，比如： mysqldump -uroot -p123 test > test.du...
2018-08-14 14:15:01
193
转载 SSH免密登录原理及配置
为了保证一台Linux主机的安全，所以我们每个主机登录的时候一般我们都设置账号密码登录。但是很多时候为了操作方便，我们都通过设置SSH免密码登录。那么该如何设置？是不是免密码登录就不安全了呢？一、被访问主机的秘钥存储机制在被SSH登录的主机中，其实都有一个存储来登录的主机的秘钥的文件，它的名字叫做authorized_keys，它的位置就在root/下面的隐藏目录.ssh中(注：如果这...
2018-08-14 10:51:51
8498
原创 使用SpringAop实现注解式日志管理
在传统的BS项目中，系统日志记录是一个很基础的功能，在权限分级的系统中，日志的记录尤其重要，日志的记录方便了管理者查看系统的运行情况，操作记录。方便追溯和判责。 公司最近在弄实时项目，需要将实时的一项子模块加入到监控系统中，后期分配使用权限给运维部门，保证实时项目的正常运行。那么分权限后的操作记录尤其重要，可以判断谁在进行了什么重要的操作，方便了排错。本次的日志记录模块使用spring ao...
2018-08-09 11:54:19
3856
原创 统计服务器总核、内存、磁盘的Java工具类
package cn.xt.admin.core.util;import com.jcraft.jsch.*;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.util.Has...
2018-08-08 15:48:21
548
原创 Shell编程--异步执行
一、启动后台子任务在执行命令后加&操作符，表示将命令放在子shell中异步执行。可以达到多线程效果。如下sleep 10 #等待10秒，再继续下一操作 sleep 10 & #当前shell不等待，后台子shell等待 二、wait命令介绍wait [作业指示或进程号]1.等待作业号或者进程号制定的进程退出，返回最后一个作业或进程的退出状态状态。如果...
2018-08-08 15:01:41
10186
原创 Centos6离线安装Nginx及配置静态资源访问、服务启停
最近团队在做实时的两个项目，为了方便地查看项目中的日志，决定在服务器端安装Nginx，以静态WEB的形式方便访问查看日志，并集成到现有的实时监控系统中。由于服务器端不能访问外网，所以以离线的形式安装Nginx。一.准备安装包以及安装依赖库1、nginx安装包下载 [免费]nginx安装包及文档-CSDN下载 https://download.csdn.net/download/...
2018-08-07 09:47:53
1101
已编译版KafkaManager-1.3.3.18
2018-11-02
windows下面的hadoop环境变量
2018-10-26
nginx依赖库rpm包
2018-08-07
ntp时间同步脚本
2017-11-30
SVN site 1.8.22
2017-11-14
WEB中使用viewer.js实现在线浏览Office文档
2017-11-13
sigar1.6.4
2017-09-30
nginx安装包及文档
2017-09-19
keepalive安装包和文档
2017-09-19
viewerjs实现在线浏览office文档
2017-09-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人