hive压缩设置

一、优缺点 优点: 1,减少存储磁盘空间,降低单节点的磁盘IO。 2,由于压缩后的数据占用的带宽更少,因此可以加快数据在Hadoop集群流动的速度。例如在不同节点创建3个replica的阶段,或是shuffle阶段。 缺点: 需要花费额外的时间/CPU做压缩和解压缩计算 二、几种常见的压缩...

2019-04-12 07:48:09

阅读数 17

评论数 0

文件定时备份并上传

(1)在服务器上创建备份目录,并赋予权限 mkdir -p /backup/bakdata#新建数据备份目录 (2)完成备份脚本操作 新建脚本文件 vi bakdata.sh 添加以下内容: #!/bin/sh dateTime=`date +%Y_%m_%d`#当前系统时间 days=7#删...

2019-03-04 21:45:58

阅读数 44

评论数 0

freepbx搭建回拨测试系统

  由于项目需要呼叫中心回拨功能,要搭建一套回拨测试系统,实现系统回拨功能现记录如下: 一、系统搭建 系统选择主流的asterisk freepbx系统,为图方便,使用万能的freepbx。选用的镜像地址为: https://hub.docker.com/r/jmar71n/freepbx...

2018-12-10 14:28:25

阅读数 333

评论数 0

ubuntu安装librdkafka以及libpcap

一.安装libpcap 第一步,先安装GCC ,一般都会自动安装 sudo apt-get install build-essential 第二步,GNU M4可以从此处 ftp.gnu.org/gnu/m4/ 下载 sudo tar -zxvf m4-latest.tar.gz cd m4-1...

2018-11-17 20:09:06

阅读数 48

评论数 0

MongoDB增删改查操作

使用说明: 一、MongoDB数据库参数配置 1、推荐使用mongodb.cfg.properties配置,则在构造MongoDBService对象的时候只需调用无参构造方法即可自动完成配置。 2、如果没有通过mongodb.cfg.properties,会采用程序指定的默认配置。  ...

2018-11-02 17:41:36

阅读数 48

评论数 0

ubuntu apt-get一直报错的解决方法

apt-get -f install 这条指令就是用来修正一些软件依赖中存在的错误,敲进入之后出现了:磁盘空间已满,写入失败, 其实这个并不是你的空间不够了,是因为你安装的包太多的缘故,可以手动清除一些 首先查看一下我们当前已经安装了哪些软件  dpkg -l 如果你不知道要删除哪些包...

2018-11-01 10:50:45

阅读数 753

评论数 0

Virtual Box添加磁盘空间

   节后上班第一天,按计划着手搭建hadoop和hive实验环境,还没开始安装就碰到一个坎,JDK安装包解包时报空间不足。原来的四个虚机,每个分配了8G,其中根文件系统6G,做完Fabric实验后空间所剩无几,因此需要扩容。下面记录的就是实际操作步骤。 环境: VirtualBox 5.0.1...

2018-10-16 18:06:29

阅读数 277

评论数 0

hadoop Cloudera-Manager集群搭建总结

1、网上搭建步骤很多,我参考的这个链接的:https://blog.csdn.net/suifeng3051/article/details/45477773 2、安装上述步骤基本没问题,但是有几点注意如下:    (1)服务端安装完毕后客户端最好手工的方式在每个客户端上装好,不然太慢假死。 ...

2018-08-20 09:17:53

阅读数 95

评论数 0

hadoop集群本地时间同步操作

测试环境:   192.168.217.130 master master.hadoop 192.168.217.131 node1 node1.hadoop 192.168.217.132 node2 node2.hadoop 一、设置master服务器时间 查看本地时间和时区 [...

2018-08-16 15:11:44

阅读数 122

评论数 0

Spark Mllib测试

一、FPGrowth算法理解         Spark.mllib 提供并行FP-growth算法,这个算法属于关联规则算法【关联规则:两不相交的非空集合A、B,如果A=>B,就说A=>B是一条关联规则,常提及的{啤酒}-->{...

2018-08-09 18:14:39

阅读数 121

评论数 0

open-falcon plus——配置告警

1. Nodata配置 使用Nodata,需要进行两个配置: Nodata配置 和 策略配置。下面,我们以一个例子,讲述如何使用Nodata提供的服务。 Nodata个人理解就是服务器发送中断,比如相关指标采集不到,agent.alive指标是服务器与客户端通讯是否正常指标,不正常说明要么是a...

2018-08-08 12:56:52

阅读数 1898

评论数 0

open-falcon plus——安装

open-falcon 是小米开源的运维系统后台为golang开发,正常情况下按照官方文档说明就可以搭建成功。 一、后台程序编译安装 1、环境准备 Git >= 1.7.5 Go >= 1.6 yum install  redis yum i...

2018-08-07 15:10:34

阅读数 400

评论数 0

firewalld影响docker启动

    由iptables切换到firewall,发现redis的docker镜像启动不了,报如下错误:ERROR: for docker-php_redis_1  Cannot start service redis: driver failed programming external con...

2018-08-03 11:57:26

阅读数 687

评论数 0

Wireshark中常见的TCP Info

Wireshark中常见的TCP Info 1. TCP out-of-order segment TCP存在问题。  Wireshark判断TCP out-of-order是基于TCP包中SEQ number并非期望收到的下一个SEQ number,则判断为out-of-order。因此,出...

2018-07-25 09:54:38

阅读数 189

评论数 0

Mariadb10 galera集群配置

由于项目需要做冗余备份,同时了解mariadb10自带了galera集群功能于是测试,环境Centos7+mariadb10.1一、安装mariadb1、yum安装很简单 yum install -y mariadb-server,如何直接安装将会默认安装mariadb 5.5,如果需要安装mar...

2018-07-13 12:36:50

阅读数 446

评论数 0

docker之创建MariaDB镜像

一、基于commit命令方式创建docker的安装[root@test01 ~]# yum install docker [root@test01 ~]# systemctl enable docker [root@test01 ~]# systemctl start docker 下载本地镜像[...

2018-06-24 20:29:49

阅读数 681

评论数 0

Zabbix安装

zabbix安装官方文档非常详细:https://www.zabbix.com/downloadnstall and configure Zabbix servera. Install Repository with MySQL databasedocumentation# rpm -i http...

2018-06-04 15:43:11

阅读数 107

评论数 0

CountDownLatch\ CyclicBarrier\ Semaphore

一.CountDownLatch用法二.CyclicBarrier用法三.Semaphore用法一.CountDownLatch用法CountDownLatch类位于java.util.concurrent包下,利用它可以实现类似计数器的功能。比如有一个任务A,它要等待其他4个任务执行完毕之后才能...

2018-05-15 09:15:17

阅读数 28

评论数 0

centos7 利用firewalld自建NAT网关

在传统的网络结构中,每个子网都有一个网关,子网内的主机通过这个网关进行上网,网关进行地址转换,修改IP报文的源地址等,具体的原理有兴趣的百度一下就知道了。在传统机房内几乎都是有路由器的,而路由器也自带网关的功能,基本用不到自建NAT,但是在如今横行的公有云中,却是有着很大的需求,例如阿里云,阿里云...

2018-05-14 12:09:52

阅读数 600

评论数 0

CentOS7路由转发设置

Centos7前的版本用iptable 防火墙设置路由转发 ;Centos7 以后的版本不能使用iptable 防火墙来设置路由器转发,而是得用firewall-cmd 来设置首先输入firewall-cmd --list-all 来查看当前防火墙配置假设接口 interfaces:eno1 en...

2018-05-02 10:22:44

阅读数 1932

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭