uevol14的博客

原创 使用keyfile部署分片集群

Deploy Sharded Cluster with Keyfile Access Control1. 创建配置服务器复制集1.1 创建数据库文件夹mkdir -p /configdb/{conf,data,log}1.2 生成keyfile文件openssl rand -base64 756 > /db/conf/keyfilechmod 400...

原创 使用keyfile部署mongodb复制集

Deploy New Replica Set with Keyfile Access Control1. 创建数据库文件目录mkdir -p /db/{conf,data,log}2. 生成keyfile文件openssl rand -base64 756 > /db/conf/keyfilechmod 400 /db/conf/keyfile生成后复制...

原创 mongodb crud -- create

mongodb crud – create1. db.collection.insert()语法db.collection.insert( <document or array of documents>, { writeConcern: <document>, ordered: <boolean> ...

转载 linux系统资源监控--io性能够分析

对于I/O-bond类型的进程，我们经常用iostat工具查看进程IO请求下发的数量、系统处理IO请求的耗时，进而分析进程与操作系统的交互过程中IO方面是否存在瓶颈。下面通过iostat命令使用实例，说明使用iostat查看IO请求下发情况、系统IO处理能力的方法，以及命令执行结果中各字段的含义。1.不加选项执行iostat我们先来看直接执行iostat的输出结果：li...

原创 linux系统资源监控--free, vmstat

linux系统同资源监控–free, vmstat1. free free命令可以显示当前系统未使用的和已使用的内存数目，还可以显示被内核使用的内存缓冲区Usage:free [options]Options: * -b, --bytes show output in bytes * -k, --kilo show o...

原创 linux系统资源监控-top

linux系统资源监控 – top top命令可以实时动态地查看系统的整体运行情况，是一个综合了多方信息监测系统性能和运行信息的实用工具。通过top命令所提供的互动式界面，用热键可以管理语法top [ -d seconds] | top [-bcnp]-b：以批处理模式操作-c：显示完整的命令-d：屏幕刷新间隔时间-u <用户名>：查看指定用户名的进程-...

原创 linux 进程管理

linux 进程管理1. 进程信息查看1. ps aux (BSD UNIX风格显示),aux会截断command列 a 所有用户进程 x 所有非用户进程 u BSD UNIX风格显示[root@localhost ~]# ps auxUSER PID %CPU %MEM VSZ RSS TTY ...

原创 linux 文件系统

linux 文件系统1. 查看文件系统[root@localhost ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/centos-root 18G 841M 17G 5% /devtmpfs 903M 0 903...

原创 hadoop高可用部署（zookeeper + hadoop）部署

hadoop高可用部署（zookeeper + hadoop）部署

原创 zookeeper 分布式安装

zookeeper 分布式安装

原创 hadoop 分布式安装

hadoop 分布式安装集群规划: hostname ip role master 192.168.3.100 NameNode, ResourceManager master1 192.168.3.101 SecondaryNameNode master 192.168.3.102 DateNode, NodeMana...

原创 hadoop伪分布式部署

hadoop伪分布式部署

原创 hadoop local模式安装

hadoop local模式安装

转载 Oplog

1.简介Oplog 是一个capped collection。Mongodb默认将其大小设置为可用disk空间的5%（默认最小为1G，最大为50G），或也可以在mongodb复制集实例初始化之前将mongo.conf中oplogSize设置为我们需要的值。当Primary进行写操作的时候，会将这些写操作记录写入Primary的Oplog 中，而后Secondary会将Oplog 复制到本机并应用这些

原创 mongodb索引

1.新增索引(1)常用方法数据量较小或者请求量不大的情况下,可以直接通过下列命令创建db.colllection_name.createIndex({})ExamplesCreate an Ascending Index on a Single FieldThe following example creates an ascending index on the field orderDate.

原创 mongodb优化

优化服务器硬件mongodb内存使用方式mongodb使用内存映射文件I/O访问存储文件，系统将按需把需要的文件映射到RAM中。工作集大小。这个大小代表着mongodb实例中存储的数据量。对大多数mongodb实例而言，常规操作通常只会访问到其中一部分数据。了解工作集大小可以帮助正确计算硬件大小。确定硬件是最需要注意的是RAM的大小。不需要在服务器上安装512G的内存，因为可以通过分片将数据分

原创 mongo服务器管理

如果未提供服务器配置文件，mongodb使用默认的数据库路径/data/db启动，并使用默认端口27017(mongodb)和28017(管理界面）连接到所有的网络IP重新配置服务器mongoDB提供3中方式用于配置服务结合mongod守护进程，使用命令行选项。使用setParameter修改设置加载一个配置文件 一般打包的安装包都是用加载一个配置文件，Unix/Linux该配置文件通常位于

原创 mongodb 3.x用户认证

mongodb 认证的方式有多种，如password认证,kerberos认证,ldap认证等等,这里主要讲的是密码认证,也是用的最多的，使用–auth选项开启认证。创建管理员用户在开启验证之前必须创建一个管理员用户,管理员用户拥有userAdminAnyDatabase角色.此角色拥有管理用户的权限,注意此角色并不是最大权限的角色。use adminswitched to db admindb

原创 mongodb备份与恢复

备份该例子基于以下条件： 1. mongodb服务器运行在当前登录的机器 2. 磁盘空间足够大，备份的文件最大可能与数据一样大cd ~mkdir testmongobackupcd testmongobackupmongodump2016-12-25T18:37:36.378+0800 writing admin.system.users to 2016-12-25T18:37

原创 mongodb更新数据

使用update()更新数据db.collection.update(critera,objNEW,options)updates函数接受3个参数：critera:指定查询，选择将要更新的文档；objNEW:指定更新信息，也可用操作符完成；options:指定更新文档时的选项，可选值有upsert和multi. upsert:如果数据存在就更新，否则创建数据。 multi:指定是否更新所有

原创 mongodb条件操作符

样本数据 db.media.find().pretty() { "_id" : ObjectId("585f822891c851f743fea7b5"), "Type" : "DVD", "Title" : "Blade Runner", "Released" : 1982 } { "_id" : Ob

原创 Grains

Grains are collected for the operating system, domain name, IP address, kernel, OS type, memory, and many other system properties.Listing GrainsAvailable grains can be listed by using the ‘grains.ls’ m

原创 Minion Primary Configuration(/etc/salt/minion)

masterDefault: salt the hostname or ipv4 of the master. Default: salt master: salt the option can can also be set to a list of masters, enabling multi-master mode. master: - address1 - addre

原创 Primary Master Configuration ( /etc/salt/master )

interfaceDefault: 0.0.0.0 (all interfaces)  The local interface to bind to interface: 192.168.0.1publish_portDefault: 4505 The network port to set up the publication interface. publish_port: 4505m

原创 install salt & initial configuration(centos7)

安装epel源sudo yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest-1.el7.noarch.rpm sudo yum clean expire-cache设置hosts文件，也可用IPmaster安装## 1、 yum install salt-master ## 2、 vim /etc/sal

转载 django 取多选列表框的值问题

原文地址：https://www.oschina.net/question/1176204_164839django get 取多选列表框的值，只能取最后一个 如果把表单改成post 方式。会接收不到数据配置：--------------url.py-------------------- url(r'^bgadd/','http_w

转载 js表单处理中单选、多选、选择框值的获取及表单的序列化，js序列化

var formUtil = { // 获取单选按钮的值，如有没有选的话返回null // elements为radio类的集合的引用 getRadioValue:function(elements) { var value = null; // null表示没有选中项 // 非IE浏览器 if(elements.value != undefined && eleme

转载 Django URL传递参数的方法总结(转)

转载自ian的个人博客[http://www.icodelogic.com]1 无参数情况配置URL及其视图如下：1234(r'^hello/$', hello) def hello(request): return HttpResponse("Hello World")访问http://127

翻译 django1.10.3 Forbidden (403) (CSRF token missing or incorrect)

How to use it¶To take advantage of CSRF protection in your views, follow these steps:The CSRF middleware is activated by default in the MIDDLEWARE setting. If you override that setting, re

原创 centos安装pip并修改官方源为豆瓣源

编辑配置文件, 如果没有, 新建一份:vi ~/.pip/pip.conf添加内容如下:[global]index-url = http://pypi.douban.com/simpletrusted-host = pypi.douban.com

转载 setuptools 和easy_install介绍和安装方法

一 setuptools 和easy_installsetuptools:setuptools 是一组由PEAK(Python Enterprise Application Kit)开发的 Python 的 distutils 工具的增强工具，可以让程序员更方便的创建和发布 Python的egg 包，特别是那些对其它包具有依赖性的状况。 由 setuptools 创建和发布的包看起来和基于

转载 mmapv1 vs wiredtiger

转载 post未选中的checkbox控件

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://cnn237111.blog.51cto.com/2359144/1293812 根据W3C的规则未选中的checkbox和禁用的控件不是有效控件，不会被POST。因此如果要未选中的checkbox表示值0的话，就不得不曲线完成了。 最近研究Zend Framework时候，发现

转载 python自定义库文件路径

python自定义库文件路径一般来说，我们会将自己写的Python模块与python自带的模块分开存放以达到便于维护的目的。Python 运行环境在查找库文件时是对 sys.path 列表进行遍历，如果我们想在运行环境中注册新的类库，主要有以下三种方法： 在sys.path列表中添加新的路径。 设置PYTHONPATH环境变量。 将库文件复制到sys.path列表中的目录里（如site-pac

原创 mongodb-查看当前数据库动态

一、查看当前的操作1、db.currentOp()currentOp会将后端Mongod上正在执行的请求都列出来，也可根据查询条件（如请求类型，请求是否正在等待锁，请求操作的DB或collection）来进行过滤。example:查询连接到db1上的操作时间大于3s的操作：db.currentOp( { "active" : true, "secs

原创 mongodb—分片(sharding)

mongodb的auto-sharding功能是指mongodb通过mongos自动建立一个水平扩展的数据库集群系统，将数据库分表存储在sharding的各个节点上。通过把Sharding和Replica Sets相结合，可以搭建一个分布式的，高可用性，自动水平扩展的集群。构建MongoDB Sharding Cluster，需要三种角色：Shard Server: mongod

原创 mongodb-创建复制集(replSet)

目标机器：172.16.171.155 （仲裁节点）172.16.171.156（从节点）172.16.171.160（主节点）1、安装mongodb参考之前文章：http://blog.csdn.net/uevol14/article/details/522283292、创建复制集1）关闭主节点的mongod进程，加 --replSet 参数重新启动mon

转载 python标准库：文件管理(os)

作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！os包 os包包括各种各样的函数，以实现操作系统的许多功能。这个包非常庞杂。os包的一些命令就是用于文件管理。我们这里列出最常用的:mkdir(path)创建新目录，path为一个字符串，表示新目录的路径。相当于$mkdir命令rmdir(pa

转载 python标准库：路径与文件(os.path,glob)

作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！ 路径与文件的简介请参看Linux文件系统 os.path包os.path包主要是处理路径字符串，比如说'/home/vamei/doc/file.txt'，提取出有用信息。import os.pathpath = '/home/

转载 python标准库：正则(re)

作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！ 正则表达式(regular expression)主要功能是从字符串(string)中通过特定的模式(pattern)，搜索想要找到的内容。语法之前，我们简介了字符串相关的处理函数。我们可以通过这些函数实现简单的搜索功能，比如说从字符串“I