自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

冰河的专栏

关注【冰河技术】微信公众号,持之以恒,贵在坚持,每天进步一点点。。。

转载 Hive基础学习文档和入门教程

问题导读1.hive除了包含用户接口、元数据,还包含哪些内容?2.hive包含哪些操作?3.hive数据能否被修改?4.hive优化有哪些常用方法?摘要:  Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 Q...

2018-04-29 18:49:41 452

原创 Nginx之——生成缩略图配置

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80114630为了手机端浏览到与手机分辨率相匹配的图片,提高 app 访问速度以及减少用户的手机流量,需要将图片生成缩略图,这边共有以下解决方案。A.发布新闻生成多重缩略图 – 无法匹配到各种尺寸图片B.当相应缩略图不存在,则使用 php 或者 java 等程序生成相应缩略图 – ...

2018-04-27 23:04:48 1897 1

原创 Nginx之——如何安装第三方模块

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80114319nginx 第三方模块安装方法:./configure --prefix=/你的安装目录 --add-module=/第三方模块目录以安装 pagespeed 模块实例在未安装 nginx 的情况下安装 nginx 第三方模块# ./configure --prefi...

2018-04-27 22:33:58 976 1

转载 Nginx之——Nginx+keepalived双机热备(主从模式)

负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的!做好负载均衡架构,可以实现故障转移和高可用环境,避免单点故障,保证网站健康持续运行。由于业务扩展,网站的访问量不断加大,负载越来越高。现需要在web前端放置nginx负载均衡,同时结合keepalived对前端nginx实现HA高可用。1)nginx进程基于Master+Slave(worker)多进程模型,自身具有非常稳定...

2018-04-26 19:30:57 8126

原创 Nginx之——正向代理

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80098048我们平时用的最多的最常见的是反向代理。反向代理想必都会配置的,有不会的可以到本博客里面搜索下,有相关文档。 那么 nginx 的正向代理是如何配置的呢?server { listen 8090; location / { resolver 218.85.157...

2018-04-26 18:51:09 664 1

原创 Nginx之——tcp代理

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80098007nginx tcp 代理功能由 nginx_tcp_proxy_module 模块提供,同时监测后端主机状态。该模块包括的模块有:ngx_tcp_module, ngx_tcp_core_module, ngx_tcp_upstream_module, ngx_tcp...

2018-04-26 18:49:00 4555

原创 Nginx之——逻辑运算

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80092375nginx 的配置中不支持 if 条件的逻辑与&& 逻辑或|| 运算 ,而且不支持 if 的嵌套语法,否则会报下面的错误:nginx: [emerg] invalid condition。我们可以用变量的方式来间接实现。要实现的语句:if ($arg_...

2018-04-26 12:55:37 1093

原创 Nginx之——日志切割脚本

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80087437按天切割日志,每天生成一个日志文件#!/bin/sh# Program:# Auto cut nginx log script. # nginx日志路径 LOGS_PATH=/usr/local/nginx-1.9.3/logsTODAY=$(da...

2018-04-25 23:07:28 216

原创 Nginx之——日志配置

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80087192日志对于统计排错来说非常有利的。本文总结了 nginx 日志相关的配置如 access_log、 log_format、open_log_file_cache、 log_not_found、 log_subrequest、 rewrite_log、 error_log...

2018-04-25 22:54:27 154

原创 Nginx之——ngx_http_core_model模块变量说明

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80086911ngx_http_core_module 模块在处理请求时,会有大量的变量,这些变量可以通过访问日志来记录下来,也可以用于其它nginx 模块。在我们对请求做策略如改写等等都会使用到一些变量,顺便对 ngx_http_core_module 模块提供的变量总结了下,如...

2018-04-25 22:30:55 334

原创 Nginx之——root&alias文件路径配置

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80086871nginx 指定文件路径有两种方式 root 和 alias,这两者的用法区别,使用方法总结了下,方便大家在应用过程中,快速响应。 root 与 alias 主要区别在于 nginx 如何解释 location 后面的 uri,这会使两者分别以不同的方式将请求映射到服...

2018-04-25 22:24:30 1033 1

原创 Nginx之——location 配置

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80086818语法规则: location [=|~|~*|^~] /uri/ { … }= 表示精确匹配,这个优先级也是最高的^~ 表示 uri 以某个常规字符串开头,理解为匹配 url 路径即可。 nginx 不对 url 做编码,因此请求为/static/20%/aa,可以被...

2018-04-25 22:21:10 231

原创 Nginx之——安装配置+清缓存模块安装

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/800776641、环境操作系统: CentOS、 RedHatIP 地址: 192.168.209.1212、下载软件包yum install -y gcc gcc-c++ autoconf wgetyum -y install wget gcc-c++ ncurses ncur...

2018-04-25 12:59:03 409

原创 Nginx之——参数详解

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80075965nginx 参数:–prefix= 指向安装目录–sbin-path 指向(执行)程序文件(nginx)–conf-path= 指向配置文件(nginx.conf)–error-log-path= 指向错误日志目录–pid-path= 指向 pid 文件(nginx....

2018-04-25 10:48:48 352

原创 JVM之——基本概念、可见性与同步

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80069057开发高性能并发应用不是一件容易的事情。这类应用的例子包括高性能Web服务器、游戏服务器和搜索引擎爬虫等。这样的应用可能需要同时处理成千上万个请求。对于这样的应用,一般采用多线程或事件驱动的 架构 。对于Java来说,在语言内部提供了线程的支持。但是Java的多线程应用...

2018-04-24 19:15:51 376

原创 JVM之——类的加载、链接和初始化

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80068986本文我们一起讨论Java类的加载、链接和初始化。 Java字节代码的表现形式是字节数组(byte[]),而Java类在JVM中的表现形式是 java.lang.Class类 的对象。一个Java类从字节代码到能够在JVM中被使用,需要经过加载、链接和初始化这三个步骤。...

2018-04-24 19:10:44 570

原创 JVM之——字节代码的操纵

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80068925在一般的Java应用开发过程中,开发人员使用Java的方式比较简单。打开惯用的IDE,编写Java源代码,再利用IDE提供的功能直接运行Java 程序就可以了。这种开发模式背后的过程是:开发人员编写的是Java源代码文件(.java),IDE会负责调用Java的编译器...

2018-04-24 19:04:40 255

原创 Nginx之——nginx-rtmp-module搭建流媒体服务器实现直播

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80022437一、基础环境搭建yum install -y gcc gcc-c++ autoconf wgetyum -y install wget gcc-c++ ncurses ncurses-devel cmake make perl bison openssl opens...

2018-04-20 18:38:09 23725 24

原创 MongoDB之——Replica Sets + Sharding

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80017173MongoDB Auto-Sharding 解决了海量存储和动态扩容的问题,但离实际生产环境所需的高可靠、高可用还有些距离,所以有了” Replica Sets + Sharding”的解决方案:Shard:使用 Replica Sets,确保每个数据节点都具有备份、...

2018-04-20 12:51:35 318

原创 MongoDB之——管理维护 Sharding

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/800171041、列出所有的 Shard Server> db.runCommand({ listshards: 1 }) --列出所有的 Shard Server{ "shards" : [ { "_id" : "shard0000", "host" :...

2018-04-20 12:41:31 472

原创 MongoDB之——Sharding 分片

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80016926这是一种将海量的数据水平扩展的数据库集群系统,数据分表存储在 sharding 的各个节点上,使用者通过简单的配置就可以很方便地构建一个分布式 MongoDB 集群。MongoDB 的数据分块称为 chunk。每个 chunk 都是 Collection 中一段连续的...

2018-04-20 12:10:07 609

原创 MongoDB之——管理维护 Replica Sets

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80014056一、读写分离有一些第三方的工具,提供了一些可以让数据库进行读写分离的工具。我们现在是否有一个疑问,从库要是能进行查询就更好了,这样可以分担主库的大量的查询请求。1、先向主库中插入一条测试数据[root@localhost bin]# ./mongo --port 28...

2018-04-20 09:39:42 210

原创 MongoDB之——主从操作日志oplog与主从配置信息

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80013723一、主从操作日志oplogMongoDB 的 Replica Set 架构是通过一个日志来存储写操作的,这个日志就叫做”oplog”。oplog.rs 是一个固定长度的 capped collection,它存在于”local”数据库中,用于记录 ReplicaSet...

2018-04-20 09:09:06 787

原创 MongoDB之——Replica Sets部署

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/800135501、创建数据文件存储路径[root@localhost ~]# mkdir -p /data/data/r0[root@localhost ~]# mkdir -p /data/data/r1[root@localhost ~]# mkdir -p /data/d...

2018-04-20 08:49:21 186

原创 MongoDB之——性能监控

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/800092831、mongosniff此工具可以从底层监控到底有哪些命令发送给了 MongoDB 去执行,从中就可以进行分析:以 root 身份执行:./mongosniff --source NET lo然后其会监控位到本地以 localhost 监听默认 27017 端口的 M...

2018-04-19 18:57:51 1438

原创 MongoDB之——性能优化

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80009221如果 nscanned(扫描的记录数)远大于 nreturned(返回结果的记录数)的话,那么我们就要考虑通过加索引来优化记录定位了。reslen 如果过大,那么说明我们返回的结果集太大了,这时请查看 find 函数的第二个参数是否只写上了你需要的属性名。对于创建索引...

2018-04-19 18:52:24 1185

原创 MongoDB之——优化器profile

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003217在 MySQL 中,慢查询日志是经常作为我们优化数据库的依据,那在 MongoDB 中是否有类似的功能呢?答案是肯定的,那就是 MongoDB Database Profiler。所以 MongoDB 不仅有,而且还有一些比 MySQL 的 Slow Query Lo...

2018-04-19 12:43:52 591

原创 MongoDB之——explain 执行计划

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003204MongoDB 提供了一个 explain 命令让我们获知系统如何处理查询请求。利用 explain 命令,我们可以很好地观察系统如何使用索引来加快检索,同时可以针对性优化索引。> db.t5.ensureIndex({name:1})> db.t5.e...

2018-04-19 12:40:36 599

原创 MongoDB之——进程控制

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003193DBA 经常要解决系统的一些查询性能问题,此时一般的操作习惯是先查看有哪些进程,然后将异常的进程杀掉,那么 MongoDB 是怎么样处理的呢?1、查看活动进程查看活动进程,便于了解系统正在做什么,以便做下一步判断> db.currentOp();> //...

2018-04-19 12:38:40 707

原创 MongoDB之——索引

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003156MongoDB 提供了多样性的索引支持,索引信息被保存在 system.indexes 中,且默认总是为_id创建索引,它的索引使用基本和 MySQL 等关系型数据库一样。其实可以这样说说,索引是凌驾于数据存储系统之上的另一层系统,所以各种结构迥异的存储都有相同或相似...

2018-04-19 12:35:30 184

原创 MongoDB之——命令行操作

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003135MongoDB shell 不仅仅是一个交互式的 shell,它也支持执行指定 javascript 文件,也支持执行指定的命令片断。有了这个特性,就可以将 MongoDB 与 linux shell 完美结合,完成大部分的日常管理和维护工作。1、通过 eval 参数...

2018-04-19 12:28:33 1805

原创 MongoDB之——访问控制

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80003031官方手册中启动 MongoDB 服务时没有任何参数,一旦客户端连接后可以对数据库任意操作,而且可以远程访问数据库,所以推荐开发阶段可以不设置任何参数,但对于生产环境还是要仔细考虑一下安全方面的因素,而提高 MongoDB 数据库安全有几个方面:绑定 IP 内网地址访问...

2018-04-19 12:07:41 549

原创 MongoDB之——数据备份与恢复

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80000764一、数据备份 mongodump可以用 mongodump 来做 MongoDB 的库或表级别的备份,下面举例说明:备份 my_mongodb 数据库[root@localhost bin]# ./mongodump -d my_mongodbconnected t...

2018-04-19 10:10:22 366

原创 MongoDB之——数据导出导入

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/80000608一、数据导出 mongoexport作为 DBA,经常会碰到导入导出数据的需求,下面就介绍实用工具mongoexport和mongoimport的使用方法,望你会有所收获。假设库里有一张 user 表,里面有 2 条记录,我们要将它导出> use my_mong...

2018-04-19 10:02:45 934

原创 MongoDB之——MapReduce

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/799957231、MongoDB MapReduce简述与数据准备MongoDB 的 MapReduce 相当于 Mysql 中的"group by",所以在MongoDB上使用 Map/Reduce进行并行"统计"很容易。使用 MapReduce 要实现两个函数 Map 函数和 ...

2018-04-18 19:54:46 194

原创 MongoDB之——GridFS

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/799956591、简单介绍GridFS 使用两个表来存储数据:1) files 包含元数据对象2) chunks 包含其他一些相关信息的二进制块为了使多个 GridFS 命名为一个单一的数据库,文件和块都有一个前缀,默认情况下,前缀是fs,所以任何默认的 GridFS 存储将包括命...

2018-04-18 19:49:06 245

原创 MongoDB之——Capped Collection

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/799956281、简单介绍capped collections 是性能出色的有着固定大小的集合,以 LRU(Least Recently Used 最近最少使用)规则和插入顺序进行 age-out(老化移出)处理,自动维护集合中对象的插入顺序,在创建时要预先指定大小。如果空间用完,...

2018-04-18 19:44:01 302

原创 MongoDB之——存储过程

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/79995587MongoDB 为很多问题提供了一系列的解决方案,针对于其它数据库的特性,它仍然毫不示弱,表现的非比寻常。MongoDB 同样支持存储过程。关于存储过程你需要知道的第一件事就是它是用 javascript 来写的。也许这会让你很奇怪,为什么它用 javascript ...

2018-04-18 19:41:49 2961

原创 MongoDB之——游标

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/79995570像大多数数据库产品一样, MongoDB 也是用游标来循环处理每一条结果数据,具体语法如下:> for( var c = db.t3.find(); c.hasNext(); ) {... printjson( c.next());... }{ "_id"...

2018-04-18 19:38:36 335

原创 MongoDB之——高级查询

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/799953781、 条件操作符<, <=, >, >= 这个操作符就不用多解释了,最常用也是最简单的db.collection.find({ "field" : { $gt: value } } ); // 大于: field > valuedb.c...

2018-04-18 19:34:40 251

提示
确定要删除当前文章?
取消 删除