weixin_45832517-CSDN博客

原创 hive调优

一、fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本...

2019-11-03 20:02:08 104

一、jdbc连接mysql代码示例 public class TestConnector { final static String USER = “root”; final static String PASSWORD = “wjt86912572”; final static String URL = “jdbc:mysql://bigdata121:3306/metastore?useSSL...

2019-11-03 20:01:28 290

原创 Linux磁盘管理之LVM逻辑

Linux磁盘管理之LVM逻辑卷认识与管理详解前言本文接着上篇文章作如下延伸：链接：Linux磁盘管理之磁盘管理与文件系统什么是LVM？为什么需要LVM？如何具体进行LVM逻辑卷管理？什么是磁盘配额？为什么需要磁盘配额？在Linux中进行磁盘配额的条件是什么呢？如何具体进行磁盘配额？下面对以上问题逐一讲解，深入实例进行操作，带你深入理解linux磁盘管理之LVM逻辑卷管理。一、...

2019-11-03 20:00:39 237

原创 C++ STL主要组件之String总结

最近在学习C++时，进入到了STL的学习阶段，在发现到这个部分的重要性时，我打算把对STL的学习分步骤记录下来，我首先打算学习的是组件String的部分，此文章主要只记录内部构造和对象基本操作。 STL是由C++提供的标准模板库，内含多个主要组件，此次总结的是String部分的内容。String在STL中算是较为重要的部分，所以需要我重点攻克。先放一张我学习String后对于此部分知识点的概括。...

2019-11-03 19:59:42 243

原创实现NN和RM的HA

一、hdfs namenode HA 1、概述在hadoop1.0的时候，hdfs集群中namenode存在单点故障的问题，当namenode不可用的时候，就会导致整个hdfs集群服务不可用。另外如果需要临时对namenode进行设计或者其他操作时，停掉namenode之后，hdfs集群也无法使用了。通过HA的方式，可以一定程度上解决单点故障问题。 2、namenode HA工作要点 ...

2019-11-03 19:58:46 269

原创配置中心化

现实场景传统应用打包部署, 会在不同的环境配置不同的包, 如Local环境, Dev环境, 测试环境, UAT环境, 生产环境分别制作不同的发布包, 每个包里环境特定配置.每一次部署都要修改配置文件, 提交审核代码, 才能打包, 非常的不方便. 相信很多朋友和我一样碰到过这种问题. 如果是共用环境, 由于环境问题, 经常会导致一个甚至多个team成员处于pending状态. 痛点: 配置散乱格式...

2019-11-03 19:57:56 86

原创 Web Service 接口测试

Web service 概念 Web service使用与平台和编程语言无关的方式进行通讯的一项技术, web service 是一个接口, 他描述了一组可以在网络上通过标准的XML消息传递访问的操作,它基于xml语言协议来描述要执行的操作或者要与另外一个web 服务交换数据, 一组以web服务在面向服务体系结构中定义的web应用程序. 可以简单的理解为web service是一个SOA(面向服务...

2019-11-03 19:55:43 97

原创管理Docker Swarm 集群

管理Docker Swarm 集群 1 .节点状态变更管理 [root@manager ~]# docker node update --availability drain manager Manager [root@manager ~]# docker node ls ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION 3...

2019-11-03 19:54:59 79

原创 Docker构建和Web应用

Docker构建和Web应用部署　Git优点：（一台电脑即可以是客户端，也可以是服务器；工作过程中，可以断网）　　适合分布式开发，强调个体；　　公共服务器压力和数据量都不会太大；　　速度快，灵活；　　可以离线工作。　SVN优点：（一台的服务器控制很多客户端，使用过程中不能断网）　　管理方便、逻辑明确；　　集中式管理更能保证安全性；　　适合开发人数不多的项目开发。 1 .部署Jen...

2019-11-03 19:54:24 155

原创 Docker图形化管理Portainer

部署PORTAINER 使用官方提供的Demo预览一下地址: http://demo.portainer.io/ 一．单机部署PORTAINER 使用以下Docker命令部署Portainer： [root@192 ~]# docker pull portainer/portainer [root@192 ~]# docker volume create portainer_data [root...

2019-11-03 19:53:43 547

原创 OpenStack Queens

社区OpenStack Queens版本部署安装详解（附加节点安装所有组件）一、部署软件环境操作系统： Centos7 内核版本： [root@controller ~]# uname -m x86_64 [root@controller ~]# uname -r 3.10.0-693.21.1.el7.x86_64 节点间以及网卡配置 controller节点 [root@controll...

2019-11-03 19:52:52 256