![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
技术
weixin_45832517
这个作者很懒,什么都没留下…
展开
-
hive调优
一、fetch抓取 Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本...原创 2019-11-03 20:02:08 · 135 阅读 · 0 评论 -
hive--jdbc的使用
一、jdbc连接mysql代码示例public class TestConnector {final static String USER = “root”;final static String PASSWORD = “wjt86912572”;final static String URL = “jdbc:mysql://bigdata121:3306/metastore?useSSL...原创 2019-11-03 20:01:28 · 315 阅读 · 0 评论 -
Linux磁盘管理之LVM逻辑
Linux磁盘管理之LVM逻辑卷认识与管理详解前言本文接着上篇文章作如下延伸:链接:Linux磁盘管理之磁盘管理与文件系统什么是LVM?为什么需要LVM?如何具体进行LVM逻辑卷管理?什么是磁盘配额?为什么需要磁盘配额?在Linux中进行磁盘配额的条件是什么呢?如何具体进行磁盘配额?下面对以上问题逐一讲解,深入实例进行操作,带你深入理解linux磁盘管理之LVM逻辑卷管理。一、...原创 2019-11-03 20:00:39 · 245 阅读 · 0 评论 -
C++ STL主要组件之String总结
最近在学习C++时,进入到了STL的学习阶段,在发现到这个部分的重要性时,我打算把对STL的学习分步骤记录下来,我首先打算学习的是组件String的部分,此文章主要只记录内部构造和对象基本操作。STL是由C++提供的标准模板库,内含多个主要组件,此次总结的是String部分的内容。String在STL中算是较为重要的部分,所以需要我重点攻克。先放一张我学习String后对于此部分知识点的概括。...原创 2019-11-03 19:59:42 · 271 阅读 · 0 评论 -
实现NN和RM的HA
一、hdfs namenode HA1、概述 在hadoop1.0的时候,hdfs集群中namenode存在单点故障的问题,当namenode不可用的时候,就会导致整个hdfs集群服务不可用。另外如果需要临时对namenode进行设计或者其他操作时,停掉namenode之后,hdfs集群也无法使用了。 通过HA的方式,可以一定程度上解决单点故障问题。2、namenode HA工作要点...原创 2019-11-03 19:58:46 · 287 阅读 · 0 评论 -
配置中心化
现实场景传统应用打包部署, 会在不同的环境配置不同的包, 如Local环境, Dev环境, 测试环境, UAT环境, 生产环境分别制作不同的发布包,每个包里环境特定配置.每一次部署都要修改配置文件, 提交审核代码, 才能打包, 非常的不方便. 相信很多朋友和我一样碰到过这种问题. 如果是共用环境, 由于环境问题, 经常会导致一个甚至多个team成员处于pending状态.痛点:配置散乱格式...原创 2019-11-03 19:57:56 · 94 阅读 · 0 评论 -
Web Service 接口测试
Web service 概念Web service使用与平台和编程语言无关的方式进行通讯的一项技术, web service 是一个接口, 他描述了一组可以在网络上通过标准的XML消息传递访问的操作,它基于xml语言协议来描述要执行的操作或者要与另外一个web 服务交换数据, 一组以web服务在面向服务体系结构中定义的web应用程序.可以简单的理解为web service是一个SOA(面向服务...原创 2019-11-03 19:55:43 · 104 阅读 · 0 评论 -
管理Docker Swarm 集群
管理Docker Swarm 集群1 .节点状态变更管理[root@manager ~]# docker node update --availability drain managerManager[root@manager ~]# docker node lsID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION3...原创 2019-11-03 19:54:59 · 92 阅读 · 0 评论 -
Docker构建和Web应用
Docker构建和Web应用部署 Git优点:(一台电脑即可以是客户端,也可以是服务器;工作过程中,可以断网) 适合分布式开发,强调个体; 公共服务器压力和数据量都不会太大; 速度快,灵活; 可以离线工作。 SVN优点:(一台的服务器控制很多客户端,使用过程中不能断网) 管理方便、逻辑明确; 集中式管理更能保证安全性; 适合开发人数不多的项目开发。1 .部署Jen...原创 2019-11-03 19:54:24 · 162 阅读 · 0 评论 -
Docker图形化管理Portainer
部署PORTAINER使用官方提供的Demo预览一下地址: http://demo.portainer.io/一.单机部署PORTAINER使用以下Docker命令部署Portainer:[root@192 ~]# docker pull portainer/portainer[root@192 ~]# docker volume create portainer_data[root...原创 2019-11-03 19:53:43 · 575 阅读 · 0 评论 -
OpenStack Queens
社区OpenStack Queens版本部署安装详解(附加节点安装所有组件)一、 部署软件环境操作系统:Centos7内核版本:[root@controller ~]# uname -mx86_64[root@controller ~]# uname -r3.10.0-693.21.1.el7.x86_64节点间以及网卡配置controller节点[root@controll...原创 2019-11-03 19:52:52 · 271 阅读 · 0 评论