Hive高级优化

1,FetchTask 不执行mapreduce,提高速度 设置的三种方式: 方法一: set hive.fetch.task.conversion=more; 方法二: bin/hive --hiveconf hive.fetch.task.conversion=more 方法三: ...

2019-06-20 19:46:19

阅读数 20

评论数 0

hbase 单个regionserver中region过多 优化

##问题 目前hbase 总是出现压缩队列和刷新队列过大的告警,导致数据的读写变慢。 首先说明一下目前集群的状况 regionServer数量:20 region 数量:6503 regionServer配置:-Xms10g -Xmx10g -Xmn3g ##原因 找到一些可能的原因。 re...

2019-06-05 19:13:11

阅读数 21

评论数 0

CDH 维护日志,集群查看

1Hbase日常运维 aA 1.1 监控Hbase运行状况 1.1.1操作系统 1.1.1.1 IO a.群集网络IO,磁盘IO,HDFS IO IO越大说明文件读写操作越多。当IO突然增加时,有可能:1.compact队列较大,集群正在进行大量压缩操作。 2.正在执行mapreduc...

2019-06-05 19:03:17

阅读数 96

评论数 0

使用cloudera-manager CDH大数据集群运维工作记录

工作中遇到的问题记录 kafka异常退出: 解决思路: 1、排查kafka log,log.dirs: 2、日志如下: # pwd /data/log/kafka # ls -lh 总用量 78M -rw-r--r-- 1 kafka kafka 78M 9月 18 14:18 kafka-br...

2019-06-05 19:02:31

阅读数 23

评论数 0

HBase RegionServer挂掉问题分析

HBase在使用中会遇到非常多的问题,最为常见的就是HBase regionserver挂掉(此文中简称regionserver为RS), 而RS挂掉的原因各不相同。在本文中对遇到过的HBase RS挂掉的情况做一个简单的整理。 HBase集群预留内存不足 现象:HBase RS在起来1-2m...

2019-06-05 18:50:53

阅读数 18

评论数 0

HDFS NameNode内存详解 ,内存估算方法

前言 《HDFS NameNode内存全景》中,我们从NameNode内部数据结构的视角,对它的内存全景及几个关键数据结构进行了简单解读,并结合实际场景介绍了NameNode可能遇到的问题,还有业界进行横向扩展方面的多种可借鉴解决方案。 事实上,对NameNode实施横向扩展前,会面临常驻内存随数...

2019-06-05 18:38:51

阅读数 19

评论数 0

HDFS NameNode内存情况解析

一、概述 从整个HDFS系统架构上看,NameNode是其中最重要、最复杂也是最容易出现问题的地方,而且一旦NameNode出现故障,整个Hadoop集群就将处于不可服务的状态,同时随着数据规模和集群规模地持续增长,很多小量级时被隐藏的问题逐渐暴露出来。所以,从更高层次掌握NameNod...

2019-06-05 17:49:50

阅读数 61

评论数 0

Seafile完整部署文档

Seafile部署文档 系统:centos7.6 要求:使用nginx反向代理+https 1关闭防火墙、Selinux 2. 安装Seafile依赖项 2.1 在CentOS服务器上安装EPEL存储库 # yum -y install epel-release 2.2 安装pyth...

2019-04-23 14:49:08

阅读数 189

评论数 0

http协议所有相关问题

HTTP超文本传输协议 http使用面向连接的TCP作为传输层协议。http本身无连接。 请求报文 CRLF是回车换行 方法为GET的请求报文 方法为POST的请求报文 方法 OPTIONS:这个方法可使服务器传回该资源所支持的所有HTTP请求方法。用’*’来代替资源名称,向...

2019-02-27 14:06:03

阅读数 80

评论数 0

使用curl命令操作elasticsearch

第一:_cat系列 _cat系列提供了一系列查询elasticsearch集群状态的接口。你可以通过执行 curl -XGET localhost:9200/_cat 获取所有_cat系列的操作 =^.^= /_cat/allocation /_cat/shards /_cat/shards/{i...

2019-02-26 16:17:26

阅读数 214

评论数 0

k8s Deployment

Deployment是新一代用于Pod管理的对象,与Replication Controller相比,它提供了更加完善的功能,使用起来更加简单方便。 Deployment相关操作 创建 我们可以使用下面的yaml文件来创建一个Deployment: apiVersion: extensions...

2019-02-21 16:57:06

阅读数 188

评论数 0

解决删除镜像时image is referenced in multiple repositories

1、查看镜像 docker images rt@123:~# docker images REPOSITORY TAG IMAGE ID CREATED ...

2019-02-15 16:35:58

阅读数 62

评论数 0

MySQL数据库安全策略

1. 删除所有MySQL中的用户(包括root用户): mysql> delete from mysql.user root可以保留,然后修改为其他用户 2. 为管理员root用户设置密码 : A、为没有密码的用户设置密码: - mysqladmin -uroo...

2019-02-15 09:59:20

阅读数 134

评论数 0

mysqldump命令详解

  1.数据备份的重要性: 保护公司的数据 网站的7x24提供服务 2.MySQL数据库备份: --all-databases , -A 导出全部数据库。 mysqldump -uroot -p --all-databases --all-tablespaces , -Y 导出全部...

2019-02-15 09:58:27

阅读数 38

评论数 0

K8S 报 ErrImagePull k8s.gcr.io国内无法连接解决方法

k8s.gcr.io连接不上之后,会报如下的错误: [ERROR ImagePull]: failed to pull image k8s.gcr.io/kube-apiserver:v1.12.2: output: Error response from daemon: Get https:/...

2019-02-11 10:43:06

阅读数 2324

评论数 1

常用服务器性能分析工具

“好记性不如烂笔头”很有道理,每一次遇到问题都是想不起来命令是啥,在这里记录一下下次方便找到! 1、top(查询进程内存、cpu占用情况)              RES实际占用内存,%CPU为cpu使用占比,%MEM为内存占比。               top -p pid查询某...

2019-01-31 16:59:24

阅读数 51

评论数 0

linux中内核的一个不错的参数somaxconn

    在linux中,/proc/sys/net/core/somaxconn这个参数,linux中内核的一个不错的参数somaxconn     看下其解析:   对于一个TCP连接,Server与Client需要通过三次握手来建立网络连接.当三次握手成功后,   我们可以看到端口的状...

2019-01-30 10:33:03

阅读数 56

评论数 0

关于su和su -的区别

关于su和su -的区别  切换用户是可以使用su tom或者su - tom来实现,但是两者有区别  su只是切换身份,但shell环境仍然是原用户的shell  su -是连用户的shell环境一起切换  切换了shell环境,PATH的环境变量才有效  举例子:  比如说 root用户在/r...

2019-01-22 09:37:35

阅读数 52

评论数 0

Linux下如何查看哪些进程占用的CPU内存资源最多

linux下获取占用CPU资源最多的10个进程,可以使用如下命令组合: ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head linux下获取占用内存资源最多的10个进程,可以使用如下命令组合: ps aux|head -1;ps aux|gr...

2019-01-22 09:34:53

阅读数 95

评论数 0

Linux查看物理CPU个数、核数、逻辑CPU个数

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| un...

2019-01-22 09:31:12

阅读数 44

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭