- 博客(59)
- 资源 (131)
- 收藏
- 关注
RSS订阅转载 Hive基础学习文档和入门教程
问题导读1.hive除了包含用户接口、元数据，还包含哪些内容？2.hive包含哪些操作？3.hive数据能否被修改？4.hive优化有哪些常用方法？摘要： Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 Q...
2018-04-29 18:49:41
1151
原创 Nginx之——生成缩略图配置
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80114630为了手机端浏览到与手机分辨率相匹配的图片，提高 app 访问速度以及减少用户的手机流量，需要将图片生成缩略图，这边共有以下解决方案。A.发布新闻生成多重缩略图 – 无法匹配到各种尺寸图片B.当相应缩略图不存在，则使用 php 或者 java 等程序生成相应缩略图 – ...
2018-04-27 23:04:48
3336
1
原创 Nginx之——如何安装第三方模块
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80114319nginx 第三方模块安装方法：./configure --prefix=/你的安装目录 --add-module=/第三方模块目录以安装 pagespeed 模块实例在未安装 nginx 的情况下安装 nginx 第三方模块# ./configure --prefi...
2018-04-27 22:33:58
1844
1
转载 Nginx之——Nginx+keepalived双机热备（主从模式）
负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的！做好负载均衡架构，可以实现故障转移和高可用环境，避免单点故障，保证网站健康持续运行。由于业务扩展，网站的访问量不断加大，负载越来越高。现需要在web前端放置nginx负载均衡,同时结合keepalived对前端nginx实现HA高可用。1）nginx进程基于Master+Slave(worker)多进程模型，自身具有非常稳定...
2018-04-26 19:30:57
12423
原创 Nginx之——正向代理
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80098048我们平时用的最多的最常见的是反向代理。反向代理想必都会配置的，有不会的可以到本博客里面搜索下，有相关文档。 那么 nginx 的正向代理是如何配置的呢？server { listen 8090; location / { resolver 218.85.157...
2018-04-26 18:51:09
1333
1
原创 Nginx之——tcp代理
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80098007nginx tcp 代理功能由 nginx_tcp_proxy_module 模块提供，同时监测后端主机状态。该模块包括的模块有：ngx_tcp_module, ngx_tcp_core_module, ngx_tcp_upstream_module, ngx_tcp...
2018-04-26 18:49:00
6393
原创 Nginx之——逻辑运算
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80092375nginx 的配置中不支持 if 条件的逻辑与&& 逻辑或|| 运算 ，而且不支持 if 的嵌套语法，否则会报下面的错误：nginx: [emerg] invalid condition。我们可以用变量的方式来间接实现。要实现的语句：if ($arg_...
2018-04-26 12:55:37
2304
原创 Nginx之——日志切割脚本
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80087437按天切割日志，每天生成一个日志文件#!/bin/sh# Program:# Auto cut nginx log script. # nginx日志路径 LOGS_PATH=/usr/local/nginx-1.9.3/logsTODAY=$(da...
2018-04-25 23:07:28
856
原创 Nginx之——日志配置
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80087192日志对于统计排错来说非常有利的。本文总结了 nginx 日志相关的配置如 access_log、 log_format、open_log_file_cache、 log_not_found、 log_subrequest、 rewrite_log、 error_log...
2018-04-25 22:54:27
711
原创 Nginx之——ngx_http_core_model模块变量说明
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80086911ngx_http_core_module 模块在处理请求时，会有大量的变量，这些变量可以通过访问日志来记录下来，也可以用于其它nginx 模块。在我们对请求做策略如改写等等都会使用到一些变量，顺便对 ngx_http_core_module 模块提供的变量总结了下，如...
2018-04-25 22:30:55
928
原创 Nginx之——root&alias文件路径配置
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80086871nginx 指定文件路径有两种方式 root 和 alias，这两者的用法区别，使用方法总结了下，方便大家在应用过程中，快速响应。 root 与 alias 主要区别在于 nginx 如何解释 location 后面的 uri，这会使两者分别以不同的方式将请求映射到服...
2018-04-25 22:24:30
2630
1
原创 Nginx之——location 配置
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80086818语法规则： location [=|~|~*|^~] /uri/ { … }= 表示精确匹配,这个优先级也是最高的^~ 表示 uri 以某个常规字符串开头，理解为匹配 url 路径即可。 nginx 不对 url 做编码，因此请求为/static/20%/aa，可以被...
2018-04-25 22:21:10
797
原创 Nginx之——安装配置+清缓存模块安装
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/800776641、环境操作系统： CentOS、 RedHatIP 地址： 192.168.209.1212、下载软件包yum install -y gcc gcc-c++ autoconf wgetyum -y install wget gcc-c++ ncurses ncur...
2018-04-25 12:59:03
934
原创 Nginx之——参数详解
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80075965nginx 参数：–prefix= 指向安装目录–sbin-path 指向（执行）程序文件（nginx）–conf-path= 指向配置文件（nginx.conf）–error-log-path= 指向错误日志目录–pid-path= 指向 pid 文件（nginx....
2018-04-25 10:48:48
964
原创 JVM之——基本概念、可见性与同步
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80069057开发高性能并发应用不是一件容易的事情。这类应用的例子包括高性能Web服务器、游戏服务器和搜索引擎爬虫等。这样的应用可能需要同时处理成千上万个请求。对于这样的应用，一般采用多线程或事件驱动的 架构 。对于Java来说，在语言内部提供了线程的支持。但是Java的多线程应用...
2018-04-24 19:15:51
977
原创 JVM之——类的加载、链接和初始化
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80068986本文我们一起讨论Java类的加载、链接和初始化。 Java字节代码的表现形式是字节数组（byte[]），而Java类在JVM中的表现形式是 java.lang.Class类 的对象。一个Java类从字节代码到能够在JVM中被使用，需要经过加载、链接和初始化这三个步骤。...
2018-04-24 19:10:44
1476
原创 JVM之——字节代码的操纵
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80068925在一般的Java应用开发过程中，开发人员使用Java的方式比较简单。打开惯用的IDE，编写Java源代码，再利用IDE提供的功能直接运行Java 程序就可以了。这种开发模式背后的过程是：开发人员编写的是Java源代码文件（.java），IDE会负责调用Java的编译器...
2018-04-24 19:04:40
893
原创 Nginx之——nginx-rtmp-module搭建流媒体服务器实现直播
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80022437一、基础环境搭建yum install -y gcc gcc-c++ autoconf wgetyum -y install wget gcc-c++ ncurses ncurses-devel cmake make perl bison openssl opens...
2018-04-20 18:38:09
35778
29
原创 MongoDB之——Replica Sets + Sharding
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80017173MongoDB Auto-Sharding 解决了海量存储和动态扩容的问题，但离实际生产环境所需的高可靠、高可用还有些距离，所以有了” Replica Sets + Sharding”的解决方案:Shard:使用 Replica Sets，确保每个数据节点都具有备份、...
2018-04-20 12:51:35
942
原创 MongoDB之——管理维护 Sharding
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/800171041、列出所有的 Shard Server> db.runCommand({ listshards: 1 }) --列出所有的 Shard Server{ "shards" : [ { "_id" : "shard0000", "host" :...
2018-04-20 12:41:31
1259
原创 MongoDB之——Sharding 分片
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80016926这是一种将海量的数据水平扩展的数据库集群系统，数据分表存储在 sharding 的各个节点上，使用者通过简单的配置就可以很方便地构建一个分布式 MongoDB 集群。MongoDB 的数据分块称为 chunk。每个 chunk 都是 Collection 中一段连续的...
2018-04-20 12:10:07
1291
原创 MongoDB之——管理维护 Replica Sets
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80014056一、读写分离有一些第三方的工具，提供了一些可以让数据库进行读写分离的工具。我们现在是否有一个疑问，从库要是能进行查询就更好了，这样可以分担主库的大量的查询请求。1、先向主库中插入一条测试数据[root@localhost bin]# ./mongo --port 28...
2018-04-20 09:39:42
763
原创 MongoDB之——主从操作日志oplog与主从配置信息
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80013723一、主从操作日志oplogMongoDB 的 Replica Set 架构是通过一个日志来存储写操作的，这个日志就叫做”oplog”。oplog.rs 是一个固定长度的 capped collection，它存在于”local”数据库中，用于记录 ReplicaSet...
2018-04-20 09:09:06
1819
原创 MongoDB之——Replica Sets部署
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/800135501、创建数据文件存储路径[root@localhost ~]# mkdir -p /data/data/r0[root@localhost ~]# mkdir -p /data/data/r1[root@localhost ~]# mkdir -p /data/d...
2018-04-20 08:49:21
743
原创 MongoDB之——性能监控
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/800092831、mongosniff此工具可以从底层监控到底有哪些命令发送给了 MongoDB 去执行，从中就可以进行分析：以 root 身份执行：./mongosniff --source NET lo然后其会监控位到本地以 localhost 监听默认 27017 端口的 M...
2018-04-19 18:57:51
2454
原创 MongoDB之——性能优化
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80009221如果 nscanned(扫描的记录数)远大于 nreturned(返回结果的记录数)的话，那么我们就要考虑通过加索引来优化记录定位了。reslen 如果过大，那么说明我们返回的结果集太大了，这时请查看 find 函数的第二个参数是否只写上了你需要的属性名。对于创建索引...
2018-04-19 18:52:24
2187
原创 MongoDB之——优化器profile
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80003217在 MySQL 中，慢查询日志是经常作为我们优化数据库的依据，那在 MongoDB 中是否有类似的功能呢?答案是肯定的，那就是 MongoDB Database Profiler。所以 MongoDB 不仅有，而且还有一些比 MySQL 的 Slow Query Lo...
2018-04-19 12:43:52
1638
原创 MongoDB之——explain 执行计划
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80003204MongoDB 提供了一个 explain 命令让我们获知系统如何处理查询请求。利用 explain 命令，我们可以很好地观察系统如何使用索引来加快检索，同时可以针对性优化索引。> db.t5.ensureIndex({name:1})> db.t5.e...
2018-04-19 12:40:36
1396
原创 MongoDB之——进程控制
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80003193DBA 经常要解决系统的一些查询性能问题，此时一般的操作习惯是先查看有哪些进程，然后将异常的进程杀掉，那么 MongoDB 是怎么样处理的呢?1、查看活动进程查看活动进程，便于了解系统正在做什么，以便做下一步判断> db.currentOp();> //...
2018-04-19 12:38:40
1411
原创 MongoDB之——索引
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80003156MongoDB 提供了多样性的索引支持，索引信息被保存在 system.indexes 中，且默认总是为_id创建索引，它的索引使用基本和 MySQL 等关系型数据库一样。其实可以这样说说，索引是凌驾于数据存储系统之上的另一层系统，所以各种结构迥异的存储都有相同或相似...
2018-04-19 12:35:30
732
原创 MongoDB之——命令行操作
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80003135MongoDB shell 不仅仅是一个交互式的 shell，它也支持执行指定 javascript 文件，也支持执行指定的命令片断。有了这个特性，就可以将 MongoDB 与 linux shell 完美结合，完成大部分的日常管理和维护工作。1、通过 eval 参数...
2018-04-19 12:28:33
3429
原创 MongoDB之——访问控制
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80003031官方手册中启动 MongoDB 服务时没有任何参数，一旦客户端连接后可以对数据库任意操作，而且可以远程访问数据库，所以推荐开发阶段可以不设置任何参数，但对于生产环境还是要仔细考虑一下安全方面的因素，而提高 MongoDB 数据库安全有几个方面：绑定 IP 内网地址访问...
2018-04-19 12:07:41
1313
原创 MongoDB之——数据备份与恢复
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80000764一、数据备份 mongodump可以用 mongodump 来做 MongoDB 的库或表级别的备份，下面举例说明:备份 my_mongodb 数据库[root@localhost bin]# ./mongodump -d my_mongodbconnected t...
2018-04-19 10:10:22
968
原创 MongoDB之——数据导出导入
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80000608一、数据导出 mongoexport作为 DBA，经常会碰到导入导出数据的需求，下面就介绍实用工具mongoexport和mongoimport的使用方法，望你会有所收获。假设库里有一张 user 表，里面有 2 条记录，我们要将它导出> use my_mong...
2018-04-19 10:02:45
1635
原创 MongoDB之——MapReduce
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/799957231、MongoDB MapReduce简述与数据准备MongoDB 的 MapReduce 相当于 Mysql 中的"group by"，所以在MongoDB上使用 Map/Reduce进行并行"统计"很容易。使用 MapReduce 要实现两个函数 Map 函数和 ...
2018-04-18 19:54:46
711
原创 MongoDB之——GridFS
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/799956591、简单介绍GridFS 使用两个表来存储数据：1) files 包含元数据对象2) chunks 包含其他一些相关信息的二进制块为了使多个 GridFS 命名为一个单一的数据库，文件和块都有一个前缀，默认情况下，前缀是fs，所以任何默认的 GridFS 存储将包括命...
2018-04-18 19:49:06
811
原创 MongoDB之——Capped Collection
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/799956281、简单介绍capped collections 是性能出色的有着固定大小的集合，以 LRU(Least Recently Used 最近最少使用)规则和插入顺序进行 age-out(老化移出)处理，自动维护集合中对象的插入顺序，在创建时要预先指定大小。如果空间用完，...
2018-04-18 19:44:01
1037
1
原创 MongoDB之——存储过程
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/79995587MongoDB 为很多问题提供了一系列的解决方案，针对于其它数据库的特性，它仍然毫不示弱，表现的非比寻常。MongoDB 同样支持存储过程。关于存储过程你需要知道的第一件事就是它是用 javascript 来写的。也许这会让你很奇怪，为什么它用 javascript ...
2018-04-18 19:41:49
5508
原创 MongoDB之——游标
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/79995570像大多数数据库产品一样， MongoDB 也是用游标来循环处理每一条结果数据，具体语法如下：> for( var c = db.t3.find(); c.hasNext(); ) {... printjson( c.next());... }{ "_id"...
2018-04-18 19:38:36
936
1
原创 MongoDB之——高级查询
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/799953781、 条件操作符<, <=, >, >= 这个操作符就不用多解释了，最常用也是最简单的db.collection.find({ "field" : { $gt: value } } ); // 大于: field > valuedb.c...
2018-04-18 19:34:40
805
Navicat for Premium.rar
2020-07-30
Flume采集Nginx日志到新版Hive.rar
2019-09-20
Flume采集Nginx日志到Hive.rar
2019-08-01
Apache标准Log，Hive测试使用
2019-03-17
glibc-2.14 Hadoop专属glib
2019-03-12
avro-1.8.1
2019-02-28
freefloatftpserver1.0 漏洞重现
2019-02-14
VulnServer
2019-01-16
Easy File Sharing Web Server 7.2
2019-01-15
ImmunityDebugger
2019-01-15
sqoop1.46和1.47
2018-09-12
基于java开发的功能强大、配置灵活的数据库之间的同步工具
2018-05-16
《Spring IOC核心技术》- 冰河原创电子书
2023-01-28
冰河的渗透实战笔记-冰河.pdf
2021-05-18
Docker+K8S+GitLab/SVN+Jenkins+Harbor持续集成yaml安装文件
2021-05-12
深入理解高并发编程（冰河原创电子书）
2021-04-28
FastDFS6.06完整安装包
2021-04-13
MySQL8.0.19安装包
2021-04-10
流程引擎（Flowable+Activiti）
2020-07-28
nexus-2.11.2-03-bundle.rar
2020-06-15
Navicat For MongoDB 15.0.6
2020-06-13
linux库：compat-libstdc++-33-3.2.3-61
2020-04-20
MySQL各版本my.cnf配置文件.rar
2020-01-12
MySQL 8.0.18源码安装包.rar
2019-11-23
升级gcc与cmake所需的安装文件.rar
2019-11-23
CentOS6.8 64位安装镜像.rar
2019-11-16
性能测试工具（postman+ab+jmeter）.rar
2019-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人