- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 HDP Hiveserver2搭建高可用
第一步：添加hiveserver2服务第二步：增加配置项<property><name>hive.server2.support.dynamic.service.discovery</name><value>true</value></property> <property><name>
2018-04-27 22:05:01
754
原创 MongoDB Replica Set使用经验分享理论篇
MongoDB Replica Set是MongoDB官方推荐的主从复制和高可用方案，用于替代原有的Master-Slave主从复制方案。Replicat Set具有自动切换功能，当Primary挂掉之后，可以自动由Replica Set中的某一个Secondary来切换到Primary，以实现高可用的目的，不像MySQL那样需要使用第三方软件。目前很多游戏公司都开始使用MongoDB作为数据库，...
2018-04-27 17:34:00
2999
转载 MongoDB Database Profiler
查询某一个特定集合的性能数据db.system.profile.find( { ns : 'mydb.test' } ).pretty()查询慢于5毫米的操作db.system.profile.find( { millis : { $gt : 5 } } ).pretty()根据时间范围查询db.system.profile.find( { ts:{$gt : new ISODate("2016-...
2018-04-27 17:29:02
194
转载 MongoDB监控四 dbStats和collStats和replSetGetStatus
dbStats命令dbStats命令可以返回指定数据库的存储信息,默认是以bytes为单位显示存储信息，可以增加一个scale参数，如scale ： 1024表示kilobytes显示。返回信息的时间由指定数据库的大小决定。> db.runCommand({dbStats : 1,scale : 1}){ "db" : "test", "collections" : 28,...
2018-04-27 17:13:52
5561
原创 MongoDB监控三 MongoDB自带监控方法
REST接口MongoDB提供一个简单的REST接口可用于配置监控和告警脚本和其他一些管理任务。可以通过在命令行添加 --rest参数或在配置文件加上rest=true开启REST接口支持。具体可以参见文档http://docs.mongodb.org/ecosystem/tools/http-interfaces/ HTTP接口MongoDB提供一个简单的HTTP接口，如当前MongoDB实例运...
2018-04-27 15:30:36
3203
转载 MongoDB监控二 mongotop
mongotop可以查看MongoDB实例花销在读数据或写数据上的时间，它提供集合级别的统计数据，而mongostat是提供数据库级别的统计数据。mongotop默认每秒显示一次数据相关参数选项如下:--help 显示帮助信息--verbose,-v 详细模式，多个v越详细，如-vvv--version 显示版本信息--host 指定主机名--port 指定端口--username,-u 指定用户...
2018-04-27 14:53:26
764
转载 MongoDB监控一 mongostat
参考文档http://docs.mongodb.org/v2.4/administration/monitoring/ 监控MongoDB有一下几种方法:1)使用MongoDB软件包自带的工具，如mongostat,mongotop等。2)使用MongoDB数据库命令3)使用MongoDB公司提供的MMS监控服务4)使用第三方工具监控mongostat命令 ...
2018-04-27 14:39:05
535
转载 zookeeper运维
尽管zookeeper在编程上有很多的阱陷，API也非常的难用，但zookeeper服务本身可以说是很牢靠的了，所以在网上貌似关于运维的文章比较少。但省心并不代表不会出麻烦，下面总结下zookeeper运维相关的东东。重要的参考资料这里有一个很好的Pdf，介绍了很多zookeeper的东东，作者是zookeeper的committer之一：http://www.infoq.com/presenta...
2018-04-26 21:01:09
222
转载 spark与hive的集成
一：介绍1.在spark编译时支持hive 2.默认的db 当Spark在编译的时候给定了hive的支持参数，但是没有配置和hive的集成，此时默认使用hive自带的元数据管理:Derby数据库。 二：具体集成 1.将hive的配合文件hive-site.xml添加到spark应用的classpath中（相当于拷贝） 2.第二步集成 根据hive的配置参数hive.metastore.u...
2018-04-24 14:25:27
1833
原创 hive server2 连接mysql认证配置
create table hiveserver2_auth (username varchar(30),password varchar(48), primary key(username));<property> <name>hive.server2.custom.auth.db.driver</name> <value>com.mysql.j...
2018-04-24 09:03:13
495
翻译 MongoDB 分片集群技术
1.1 MongoDB复制集简介 一组Mongodb复制集，就是一组mongod进程，这些进程维护同一个数据集合。复制集提供了数据冗余和高等级的可靠性，这是生产部署的基础。1.1.1 复制集的目的 保证数据在生产部署时的冗余和可靠性，通过在不同的机器上保存副本来保证数据的不会因为单点损坏而丢失。能够随时应对数据丢失、机器损坏带来的风险。 换一句话来说，还能提高读取能力，用户的读取服务器和写入...
2018-04-22 22:46:06
205
转载 mongodb3.6集群搭建:分片+副本集
mongodb是最常用的noSql数据库，在数据库排名中已经上升到了前五。这篇文章介绍如何搭建高可用的mongodb（分片+副本）集群。在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。相关概念mongodb集群架构图：从图中可以看到有四个组件：mongos、config ...
2018-04-22 21:15:59
501
转载 MongoDB 的安装与详细使用
一、什么是MongoDB ?MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数...
2018-04-19 21:20:57
429
原创 XLearning 安装说明文档
一、版本说明hadoop 2.7.3TensorFlow 1.1.0xlearning 1.1java 1.8.0pyton 2.7.5二、系统环境安装1. 安装java下载jdk-8u73-linux-x64.tar.gz包，解压，并放置到指定目录（如:/opt/XLearning/software目录）下tar -xzvf jdk-7u67-linux-x64.tar.gz -C /opt/X...
2018-04-19 14:44:26
1054
3
转载 关于xlearning的安装使用初步简介
最近发现了一个做事很认真的做算法同事，身上很多优点值得我学习，推荐使用了一种360的开源工具，可以将tensoeflow提交至yarn里面。这个工具感觉解决了很多问题。我这个人比较懒，大部分工作都是我那个同事研究成功的，然后我坐享其成，等着验证结果。特此在这里将他的成果记录下来：参考网址:https://github.com/Qihoo360/XLearning/blob/master/READM...
2018-04-19 14:33:23
336
转载 MongoDB 基础安全性（权限操作）
和其他所有数据库一样，权限的管理都差不多一样。mongodb存储所有的用户信息在admin 数据库的集合system.users中，保存用户名、密码和数据库信息。mongodb默认不启用授权认证，只要能连接到该服务器，就可连接到mongod。若要启用安全认证，需要更改配置文件参数auth。以下测试理解查看数据库： > show dbs 发现 admin 竟然没有！~找了好久，找不到相关说明...
2018-04-19 08:34:50
259
转载 CentOS 7 安装 MongoDB 3.6
CentOS 7 安装 MongoDB 3.6安装步骤创建文件vi /etc/yum.repos.d/mongodb-org-3.6.repo1文件内容[mongodb-org-3.6]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.6/x86_64/gpgche...
2018-04-18 21:28:25
312
转载 管理工具、CDH的错误排查
在CDH安装完成后或者CDH使用过程中经常会有错误或者警报，需要我们去解决，积累如下:解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的，几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。 因为NTP的时间同步是平滑同步，不是跳跃式同步，如果设置得不好的话，很难校验出它同步成功了没，总感觉会缺少几秒钟的感...
2018-04-18 21:11:13
4126
3
原创 hiveserver2 权限管控
cdh 配置/opt/cloudera/parcels/CDH/lib/hive/lib/HiveServer2Auth.jar hdpRun as end user instead of Hive user true HiveServer2提供了JDBC链接操作Hive的功能，非常实用，但如果在使用Hive...
2018-04-18 13:24:05
4124
2
原创 不同集群 hive 表结构 重新创建
导出表结构#/bin/bash#hive -e"#show databases;#">databases.txt#sed -i '1d' databases.txtfor database in `cat databases.txt`doecho database-------------- ${database}# hive -e "use ${database};"...
2018-04-17 09:45:32
401
转载 hive权限管理
《Hive编程指南》第18章 安全有相关内容可参考。环境：HDP2.4 ,hive-1.2.0, ambari统一管理目前hive支持简单的权限管理，默认情况下是不开启，这样所有的用户都具有相同的权限，同时也是超级管理员，也就对hive中的所有表都有查看和改动的权利，这样是不符合一般数据仓库的安全原则的。下面来介绍HIVE的权限管理。Hive用户1. Hive作为表存储层。 使用对象：Hiv...
2018-04-11 22:20:32
9230
原创 调整cpu和内存
1、virsh edit snale （更改前要将snale shutdown）找到“memory”和“vcpu”标签，将<memory unit='KiB'>1048576</memory> <currentMemory unit='KiB'>1048576</currentMemory> <vcpu placement='static'...
2018-04-11 21:58:47
611
转载 cloudera manager5.13.1离线安装记录
官网介绍了三种安装方式，A方式用于非生产环境自动安装，B是package安装，C是tar包安装因为习惯等因素，我选择了使用tar包安装。现将安装过程中遇到的问题记录下来，也给有需要的人提供个参考。具体的操作过程参考官方文档https://www.cloudera.com/docu...以及以下几个参考文章：http://www.cnblogs.com/jasond...http://blog....
2018-04-10 18:16:44
467
原创 openfalcon监控nginx
nginx版本nginx/1.12.0编译 --prefix=/opt/nginx --user=app --group=app --with-threads --with-file-aio --with-http_ssl_module --with-http_v2_module --with-http_realip_module --with-http_addition_module --wit...
2018-04-08 16:12:50
607
原创 open-falcon agent plugin的使用
agent中的plugin是一种辅助的采集数据的方式。 在plugin的脚本中向stdout打印metric信息，agent会自动收集并上报给transfer。下面介绍其使用方式。1. 配置agent, 使能plugin编辑agent/config/cfg.json设置”enabled”为true，配置dir，git 等。其中，dir 是相对于open-falco...
2018-04-08 10:50:32
725
转载 Docker容器学习梳理--基础知识（2）
Docker是个什么东西 Docker是一个程序运行、测试、交付的开放平台，Docker被设计为能够使你快速地交付应用。在Docker中，你可以将你的程序分为不同的基础部分，对于每一个基础部分都可以当做一个应用程序来管理。Docker能够帮助你快速地测试、快速地编码、快速地交付，并且缩短你从编码到运行应用的周期。 Docker使用轻量级的容器虚拟化平台，并且结合工作流和工具，来帮助你...
2018-04-07 22:03:26
420
原创 Centos7.2安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群
一、官方链接官方搭建文档：https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/ch_Getting_Ready.html离线搭建yum源，包下载列表：https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_am...
2018-04-07 11:06:45
782
转载 Docker容器学习梳理--应用程序容器环境部署
关于国内Docker镜像，可以参考：Docker容器学习梳理--基础知识（2） 的Docker镜像使用。如果我们需要在Docker环境下部署tomcat、redis、mysql、nginx、php等应用服务环境，有下面三种方法：1）根据系统镜像创建Docker容器，这时容器就相当于是一个虚拟机，进入容器内部署应用环境。 然后将这种应用容器提交为新的镜像，最后基于这种新的应用镜像创建容器，创建...
2018-04-07 10:22:35
969
原创 Docker容器学习梳理--Volume数据卷使用
之前部署了Docker容器学习梳理--基础环境安装，接下来看看Docker Volume的使用。Docker volume使用Docker中的数据可以存储在类似于虚拟机磁盘的介质中，在Docker中称为数据卷（Data Volume）。数据卷可以用来存储Docker应用的数据，也可以用来在Docker容器间进行数据共享。数据卷呈现给Docker容器的形式就是一个目录，支持多个容器间共享，修改也不...
2018-04-05 21:46:35
217
转载 Docker容器学习梳理--基础环境安装
以下是centos系统安装docker的操作记录1）第一种方法：采用系统自带的docker安装，但是这一般都不是最新版的docker安装epel源[root@docker-server ~]# wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm[root@docker-server ~]# rpm -...
2018-04-05 21:37:36
217
转载 Docker容器学习梳理--日常操作总结
使用Docker已有一段时间了，今天正好有空梳理下自己平时操作Docker时的一些命令和注意细节：Docker 命令帮助$ sudo docker Commands: attach Attach to a running container --将终端依附到容器上 1> 运行一个交互型容器 ...
2018-04-05 21:32:18
471
转载 Mesos+Zookeeper+Marathon的Docker管理平台部署记录（1）
随着"互联网+"时代的业务增长、变化速度及大规模计算的需求，廉价的、高可扩展的分布式x86集群已成为标准解决方案，如Google已经在几千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展，又给大规模集群管理带来了新的想象空间。如何将二者进行有效地结合？下面将记录使用Mesos+Zookeeper+Marathon+Docker分布式部署Paas云平台环境，其中：1）Mesos：Me...
2018-04-05 20:57:16
801
转载 Docker容器学习梳理-容器时间跟宿主机时间同步
在Docker容器创建好之后，可能会发现容器时间跟宿主机时间不一致，这就需要同步它们的时间，让容器时间跟宿主机时间保持一致。如下：宿主机时间[root@slave-1 ~]# dateFri May 12 11:20:30 CST 2017容器时间[root@slave-1 ~]# docker exec -ti 87986863838b /bin/bashroot@879868638...
2018-04-05 20:33:28
852
转载 Linux IO实时监控iostat命令详解
简介iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。 语法iostat [ -c ] [ -d ] [ -h ] [ -N ] [ -k | -m ] [ -t ] [ -V ] [ -x ] [ -z ] [ device [.....
2018-04-04 08:52:07
874
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人