- 博客(209)
- 收藏
- 关注
RSS订阅转载 hive Metastore contains multiple versions
凌晨接到hive作业异常，hive版本为1.2.1，hadoop版本apache 2.7.1，元数据存储在mysql中，异常信息如下：Logging initialized using configuration in jar:file:/opt/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.prope...
2019-04-24 10:16:00
316
转载 记一次 qW3xT.4，解决挖矿病毒。
最近感觉我的服务器特别卡，打开数据库都半天，刚开始以为网咯不好也没太在意。利用top命令：这时候问题出来了，最高cpu占用100%，那我用啥？？？根据进程id 一看究竟，ps -ef|grep 进程id 1.CPU占用最多的前10个进程：psauxw|head-1;psauxw|sort-rn-k3|head-102.内存消耗最多的前10个进程psa...
2019-01-08 16:27:00
398
转载 nginx 安装 lua-nginx-module
需要LuaJIT-2.0.4.tar.gz，ngx_devel_kit，lua-nginx-module1.下载安装LuaJIT-2.0.5.tar.gzhttp://luajit.org/download.htmlwget -chttp://luajit.org/download/LuaJIT-2.0.5.tar.gztar xzvf LuaJIT-2.0.5.ta...
2018-11-14 17:12:00
433
转载 ab fails to connect to localhost
The following command fails:$ ab -n 1 localhost:8000/...Benchmarking localhost (be patient)...apr_socket_recv: Connection refused (111)But this one succeeds:$ ab -n 1 127.0.0.1:...
2018-11-13 11:51:00
316
转载 修改zookeeper jvm参数
在zkServer.sh中，增加以下参数：start) echo -n "Starting zookeeper ... " if [ -f $ZOOPIDFILE ]; then if kill -0 `cat $ZOOPIDFILE` > /dev/null 2>&1; then echo $command already...
2018-11-12 20:27:00
703
转载 centos yum 安装 jdk1.8
JDK:版本：1.8服务器默认安装1.7，所以不使用默认安装yum -y list java* --查看yum的jdk安装包yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel --安装JDK,如果没有java-1.8.0-openjdk-devel就没有javac命令 也可用 yum install...
2018-11-12 10:28:00
138
转载 高可用的zookeeper
Install zookeeperwget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gztar -zxvf zookeeper-3.4.13.tar.gzmv zookeeper-3.4.13 /usr/local/useradd zookee...
2018-11-09 20:49:00
114
转载 下载Cloudera Repo
wget http://archive-primary.cloudera.com/gplextras5/redhat/6/x86_64/gplextras/cloudera-gplextras5.repo -P /etc/yum.repos.dwget https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-c...
2018-11-09 15:31:00
655
转载 CentOS系统yum源使用报错：Error: Cannot retrieve repository metadata (repomd.xml) for repository: rpmforge....
服务器上的yum突然不好使用，使用yum的时候报错如下：[root@bastion-IDC src]# yum list......Could not retrieve mirrorlist http://mirrorlist.repoforge.org/el6/mirrors-rpmforge error was14: PYCURL ERROR 7 - "couldn't connec...
2018-11-09 14:47:00
472
转载 Linux使用daemontools
功能：在使用memcached时候，怕因为一些不可预知的因素导致memcached进程死掉，而又不能及时的发现重启，可以通过daemontools来管理memcached的启动，当memcached死掉后系统会自动在5秒内重memcached;1、安装yum install cshhttp://cr.yp.to/daemontools/daemontools-...
2018-11-09 11:21:00
142
转载 Flume NG高可用集群搭建详解
、Flume NG简述Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Si...
2018-11-08 20:31:00
128
转载 ngnix 安装
1安装PCRE库 ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/下载最新的 PCRE 源码包，使用下面命令下载编译和安装 PCRE 包：cd /data/apps/wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.42.tar...
2018-11-08 16:57:00
116
转载 nginx（一） nginx详解
nginx是一个被广泛使用的集群架构组件，我们有必要对它有足够的了解。下面将先认识nginx：包括应用场景、nginx基本架构、功能特性、并发模型以及配置说明，最后我们再总结下，为什么选择nginx的原因。1、nginx应用nginx （engine x）是一个可以作为HTTP WEB服务器、反向代理服务器、邮件代理服务器和一个通用的TCP / UDP代理服务器（1.9...
2018-11-08 11:33:00
2210
转载 大数据基础之Kafka（1）简介、安装及使用
kafka2.0http://kafka.apache.org一 简介Kafka® is used for buildingreal-time data pipelines and streaming apps. It ishorizontally scalable,fault-tolerant,wicked fast, andruns in productio...
2018-11-08 11:32:00
128
转载 Kafka Topic的详细信息 捎带主要的安装步骤
1. 安装步骤Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不需要创建myid文件),主要是针对每个Kafka服务器配置一个单独的server.properties，三个服务器分别使用server.properties，server.1.properties, server.2.propertiesc...
2018-11-08 10:21:00
204
转载 error while loading shared libraries: libpcre.so.0的解决办法
因没有备份libpcre.so.0文件便执行命令“rpm -e pcre –nodeps”，导致丢失libpcre.so.0文件。结果可想而知，新版的pcre再也安装不上了，apache2也无法再编译了。只要一编译，就提示错误：error while loading shared libraries: libpcre.so.0: cannot open shared object f...
2018-11-08 09:21:00
7475
转载 Nginx启动提示找不到libpcre.so.1解决方法
启动nginx提示：error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or directory，意思是找不到libpcre.so.1这个模块，而导致启动失败。经过搜索资料，发现部分linux系统存有的通病。要解决这个方法非常容易查询...
2018-11-08 09:07:00
321
转载 修改linux 最大文件限制数 ulimit
1）修改当前交互终端的limit值查询当前终端的文件句柄数： ulimit -n 回车，一般的系统默认的1024.修改文件句柄数为65535，ulimit -n 65535.此时系统的文件句柄数为65535.2）将ulimit 值添加到/etc/profile文件中（适用于有root权限登录的系统）为了每次系统重新启动时，都可以获取更大的ulimit值，将ulimit 加入到/e...
2018-11-06 15:02:00
252
转载 Http请求的响应没有Content-Length，只有Transfer-Encoding→chunked
如题：Http请求的响应没有Content-Length，只有Transfer-Encoding→chunked。如图原因猜测：如果请求的响应返回是某个对象，则不会显示Content-Length，而显示Transfer-Encoding→chunked如果请求的响应返回是简单类型（我亲测String）则会显示Content-Length 但是这里面有一个前提server...
2018-11-05 20:11:00
978
转载 Linux最大线程数限制及当前线程数查询
1、总结系统限制有：cat /proc/sys/kernel/pid_max #查系统支持的最大线程数，一般会很大，相当于理论值cat /proc/sys/kernel/threads-max 修改 echo 254771 >/proc/sys/kernel/threads-maxmax_user_process（ulimit -u） #系统限制某用户下最...
2018-11-05 11:33:00
79
转载 Jstack线程状态BLOCKED/TIMED_WAITING/WAITING解释
一、线程5种状态新建状态（New） 新创建了一个线程对象。就绪状态（Runnable） 线程对象创建后，其他线程调用了该对象的start()方法。该状态的线程位于可运行线程池中，变得可运行，等待获取CPU的使用权。运行状态（Running） 就绪状态的线程获取了CPU，执行程序代码。阻塞状态（Blocked） 阻塞状态是线程因为某种原因放弃...
2018-09-20 20:06:00
165
转载 10分钟搞懂分层实验原理
摘要：想要同一时间做N个实验？想要同一份流量不同实验之间不干扰？想要每个实验都能得到100%流量? 那么你就需要分层实验。1. 背景想要同一时间做N个实验？想要同一份流量不同实验之间不干扰？想要每个实验都能得到100%流量? 那么你就需要分层实验。1.1 什么是分层实验分层实验概念：每个独立实验为一层，层与层之...
2018-09-04 17:37:00
500
转载 KeepAlive
Apache优化之KeepAliveKeepAlive是在HTTP1.1中定义的，用来保持客户机和服务器的长连接，执子之手与子偕老。通过减少建立TCP Session的次数来提高性能。常用的配置参数有{KeepAlive, KeepAliveTimeout, MaxKeepAliveRequests}。逐个说来：KeepAlive是决定开启KeepAlive支持；KeepAli...
2018-08-29 14:12:00
160
转载 Linux下使用ntpdate进行时间同步
1、安装ntpdate，执行以下命令# yum install ntpdate -y2、手工同步网络时间，执行以下命令，将从time.nist.gov同步时间# ntpdate 0.asia.pool.ntp.org 若上面的时间服务器不可用，也可以选择以下服务器同步时间 time.nist.gov time.nuri.net 0.as...
2018-08-21 13:40:00
129
转载 Spring中如何获取request的方法汇总及其线程安全性分析
前言本文将介绍在Spring MVC开发的web系统中，获取request对象的几种方法，并讨论其线程安全性。下面话不多说了，来一起看看详细的介绍吧。概述在使用Spring MVC开发Web系统时，经常需要在处理请求时使用request对象，比如获取客户端ip地址、请求的url、header中的属性（如cookie、授权信息）、body中的数据等。由于在Spring MVC中...
2018-08-20 13:28:00
84
转载 a|=b 是什么意思
a|=b的意思就是把a和b按位或然后赋值给a 按位或的意思就是先把a和b都换成2进制，然后用或操作，相当于a=a|b&是按位与(双目运算符,需要2个操作数)|是按位或(双目运算符)～是按位非(单目运算符)1&0=0, 0&1=0, 0&0=0, 1&1=11|0=1, 0|1=1, 0|0=0, 1|1=1~1=0,~0=1a|=b等价于a=a...
2018-08-17 20:52:00
2704
转载 spring通过注解方式依赖注入原理 （私有成员属性如何注入）
一、spring如何创建依赖的对象 用过spring的都知道我们在dao、service层加上@repository、@Service就能将这两个对象交给spring管理，在下次使用的时候使用@resource或者@Autowired 就可以拿到而不需要自己再去new了，那么它是如何创建那些加上注解的对象的呢？通过JAVA反射拿到无参构造函数 以下只是举例：C...
2018-08-16 09:25:00
549
转载 警惕 InnoDB 和 MyISAM 创建 Hash 索引陷阱
MySql 最经常使用存储引擎 InnoDB 和 MyISAM 都不支持 Hash 索引，它们默认的索引都是 B-Tree。可是假设你在创建索引的时候定义其类型为 Hash，MySql 并不会报错，并且你通过 SHOW CREATE TABLE 查看该索引也是 Hash，仅仅只是该索引实际上还是 B-Tree。比方表 data_dict 的 DDL：CREATE TABLE `d...
2018-08-03 11:51:00
111
转载 MySQL的btree索引和hash索引的区别
Hash 索引结构的特殊性，其检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢？任何事物都是有两面性的，Has...
2018-08-03 11:43:00
101
转载 Mysql 自定义HASH索引带来的巨大性能提升
有这样一个业务场景，需要在2个表里比较存在于A表，不存在于B表的数据。表结构如下：T_SETTINGS_BACKUP | CREATE TABLE `T_SETTINGS_BACKUP` ( `FID` bigint(20) NOT NULL AUTO_INCREMENT, `FUSERID` bigint(20) NOT NULL COMMENT '用户ID',...
2018-08-03 11:36:00
116
转载 Maven依赖范围<scope>
1、Maven因为执行一系列编译、测试和部署运行等操作，在不同的操作下使用的classpath不同，依赖范围就是用来控制依赖与三种 classpath（编译classpath、测试classpath、运行classpath）的关系。Maven有以下几种依赖范围：compile：编译依赖范围（默认），使用此依赖范围对于编译、测试、运行三种 classpath 都有效，即在编译、测试...
2018-08-02 14:13:00
192
转载 深入理解Java G1垃圾收集器
本文首先简单介绍了垃圾收集的常见方式，然后再分析了G1收集器的收集原理，相比其他垃圾收集器的优势，最后给出了一些调优实践。一，什么是垃圾回收首先，在了解G1之前，我们需要清楚的知道，垃圾回收是什么？简单的说垃圾回收就是回收内存中不再使用的对象。垃圾回收的基本步骤回收的步骤有2步：查找内存中不再使用的对象释放这些对象占用的内存1,查找内存中不再使用的对象...
2018-07-25 17:50:00
69
转载 Redis EXISTS命令耗时过长case排查
一、背景redis慢日志分析平台上线后，随便看了一下，发现onestore使用的缓存集群，存在大量的EXISTS命令慢查询的情况：平均每个EXISTS命令需要13ms，最大耗时近20ms。这个结果很不科学啊，EXISTS命令只是执行一次hash查找操作，应该是us级别。和相关同学了解业务背景如下：- 业务是userfeed，存放用户发表的动态- 使用zset存储一...
2018-07-20 16:10:00
534
转载 查看哪些redis命令拖慢了redis
Redis提供了一个下面这样的命令统计工具：127.0.0.1:6379> INFO commandstats# Commandstatscmdstat_get:calls=113521268,usec=599075196,usec_per_call=5.28cmdstat_set:calls=3080568,usec=20100483,usec_per_call=6.52...
2018-07-20 16:05:00
177
转载 redis INFO 解释
以一种易于解释（parse）且易于阅读的格式，返回关于 Redis 服务器的各种信息和统计数值。通过给定可选的参数section，可以让命令只返回某一部分的信息：server部分记录了 Redis 服务器的信息，它包含以下域：redis_version: Redis 服务器版本redis_git_sha1: Git SHA1redis_git...
2018-07-10 13:40:00
76
转载 Linux安装JDK完整步骤
首先到jdk官网上下载你想要的jdk版本，下载完成之后将需要安装的jdk安装包放到Linux系统指定的文件夹下，并且命令进入该文件夹下：[root@localhost software]# lltotal 252664-rw-r--r--. 1 root root 11830603 Jun 9 06:43 alibaba-rocketmq-3.2.6.tar.gz...
2018-07-04 16:58:00
113
转载 如何判断Linux是32位还是64位
方法一：getconf LONG_BIT在linux终端输入getconf LONG_BIT命令如果是32位机器，则结果为32[root@localhost~]#getconfLONG_BIT32如果是64位机器，则结果为64[root@localhost~]#getconfLONG_BIT64方法二：un...
2018-07-04 16:54:00
104
转载 分布式自增ID算法snowflake (Java版)
概述分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID，并且希望ID能够按照时间有序生成。而snowflake解决了这种需求，开发这样一套全局唯一ID生成服务。结构snowflake的结构如下(每部分用-分开...
2018-07-03 10:09:00
78
转载 Java多线程1：进程与线程概述
进程和线程谈到多线程，就得先讲进程和线程的概念。进程进程可以理解为受操作系统管理的基本运行单元。360浏览器是一个进程、WPS也是一个进程，正在操作系统中运行的".exe"都可以理解为一个进程线程进程中独立运行的子任务就是一个线程。像QQ.exe运行的时候就有很多子任务在运行，比如聊天线程、好友视频线程、下载文件线程等等。为什么要使用多线程如果使用得...
2018-05-31 09:32:00
72
转载 NIO-直接内存
写NIO程序经常使用ByteBuffer来读取或者写入数据，那么使用ByteBuffer.allocate(capability)还是使用ByteBuffer.allocteDirect(capability)来分配缓存了？第一种方式是分配JVM堆内存，属于GC管辖范围，由于需要拷贝所以速度相对较慢；第二种方式是分配OS本地内存，不属于GC管辖范围，由于不需要内存拷贝所以速度相对较快。...
2018-05-31 09:14:00
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人