艾希射日

帘外芭蕉惹骤雨门环惹铜绿

排序:
默认
按更新时间
按访问量

ES 准实时存储机制与文档的分布式存储过程

一. Lucene Index 与 ES Shard 我们知道 ES 底层利用的是 Lucene 的倒排索引实现搜索的,而倒排索引有个特点是: 一旦创建,不可更改。该特点可以带来如下好处: 充分利用缓存 不需要考虑并发写的锁机制带来的影响 可以利用压缩节约空间 但是当新的文档存储进来,需要构建...

2018-11-12 22:26:04

阅读数:4

评论数:0

ElasticSearch Mapping 与数据建模简记

当我们使用数据库时需要先建表,确定一张表一行数据存储哪些字段,每个字段的数据类型、约束是怎样的。ElasticSearch 也一样, 在使用时其每个索引每个文档要确定存储哪些字段,这些字段是何种数据类型,数据怎样转换,是否需要索引等。在使用 ES 索引之前我们也需要了解要存储哪些数据,然后对数据进...

2018-10-13 11:58:07

阅读数:41

评论数:0

基于 ELK 与 ElaticAlert 搭建系统监控报警

之前学习了通过 ELK 进行 Nginx 的日志收集与分析,有了日志之后我们就可以通过解析日志近实时的监控服务器的访问状态了。通常 Nginx 都是作为代理服务器进行使用的,当我们的应用服务因为某些原因挂掉时,Nginx 访问就会出现频繁 502 的情况,基于这一场景我们可以进行报警来及时提醒我们...

2018-08-29 08:28:52

阅读数:253

评论数:0

Redis 的数据持久化方法

工作中经常会遇到 Redis 数据库相关的使用操作,因为其将数据存储在内存中的缘故,其数据的读写效率要远远高于数据库等方式的读写。但也因为数据存储在内存中,如果机器意外关机,就会导致数据的丢失。为了避免数据丢失造成的损失,因此就需要对 Redis 中的数据进行持久化的备份处理。本篇是对最近学习 R...

2018-06-02 15:03:11

阅读数:134

评论数:0

【ELK 笔记】ES search API 使用简记

ElasticSearch 常用的查询语法简记 ES 中提供了两种查询语法 URISearch API: 通过 uri query 参数来实现快速搜索,操作简单,但是不覆盖所有的查询语法 Request Body: ES 提供的 DSL 查询语法,覆盖所有的查询,是使用更多的一种...

2018-05-19 09:20:51

阅读数:339

评论数:0

【ELK笔记】-ES基本概念与 API 操作

本篇主要对 ES 中集群、节点、索引、文档的基本概念和增删改查的基本 API 做简要的总结梳理。 一. 基本概念 1. 文档(document) 文档是 ES 中记录数据的基本单位,是一系列数据字段的组合,本质上是一个 JSON 对象,类似于 MySQL 数据库中的一行数据,由各...

2018-03-27 22:50:52

阅读数:596

评论数:0

【ELK笔记】ELK的安装,快速搭建一个ELK日志分析平台

ELK 是 ElasticSearch、 LogStash、 Kibana 三个开源工具的简称,现在还包括 Beats,其分工如下: LogStash/Beats: 负责数据的收集与处理 ElasticSearch: 一个开源的分布式搜索引擎,负责数据的存储、检索和分析 Kibana: 提供了...

2018-03-19 11:33:49

阅读数:9804

评论数:2

Nginx+Gunicorn+Supervisor 搭建 Django 项目环境

参考开发环境在自己的云服务器上搭了一次,中间遇到了一些坑,简要记录下作为备忘。 环境搭建主要是下面四步 虚拟环境的创建 Django 项目的创建 gunicorn 应用服务器的运行与 Nginx 反向代理 supervisor 控制 gunicorn 服务器 关于 Linux 上Pyth...

2018-01-09 23:12:18

阅读数:490

评论数:0

mysqldump 数据库备份简记

mysqldump 命令实现全量备份和增量备份

2017-11-18 12:13:52

阅读数:1689

评论数:0

Django Template 渲染机制详解

通过源码分析 Django 的模板渲染机制

2017-09-16 19:34:46

阅读数:3662

评论数:0

Python 性能优化【2】 -- 高效的使用序列与字典、集合

本篇主要对 Python 常用的几种数据结构: 列表、元组、字典、集合以及 numpy 进行简单的分析,并根据其增删改查的内存分配特点提供相应的使用建议。 一. 可变数组: 列表 列表 list 是一个动态的数组,支持 resize,其元素个数是可变的。其可变性的代价在于列表存储需要额外的...

2017-09-11 08:30:23

阅读数:935

评论数:0

Python 性能优化【1】-- Python 常用的性能分析工具

Python 常用的性能分析工具简记

2017-09-06 00:11:39

阅读数:4173

评论数:4

【译】Django 数据查询性能优化最佳实践

原文链接:http://bookofstranger.com/optimizing-django-orm-queries-for-best-performance/Django 框架提供了众多的 ORM 方法,当一个 Model 创建后,你可以通过其 API 进行数据的创建、更新、检索与删除。当 ...

2017-06-22 19:14:38

阅读数:1342

评论数:0

uWSGI + Nginx 部署 Django 项目笔记

最近学习 Python 时接触到了项目部署的问题,之前已经写过一篇使用 Apache 进行部署的笔记,这一篇对更加常用的 uwsgi + Nginx 方案进行部署,同时使用 Fabric 进行服务端的自动更新重载,避免了每次更新代码之后都要手动上传的麻烦。

2017-05-22 15:30:39

阅读数:1019

评论数:0

Scrapy 入门笔记(4) --- 使用 Pipeline 保存数据

最近学习用 Scrapy 框架写爬虫,将学习过程中用到的解析技术,Scrapy 的各个模块使用与进阶到分布式爬虫学到的知识点、遇到的问题以及解决方法记录于此,以作总结与备忘,也希望对需要的同学有所帮助。本篇主要讲解 pipeline 保存数据模块的使用,包括将数据存储为 Json 文件,存储到 M...

2017-05-18 15:57:48

阅读数:14227

评论数:6

Scrapy 入门学习笔记(3) -- 使用 Item 类转换传输数据以及ItemLoader 机制解析

最近学习用 Scrapy 框架写爬虫,简单来说爬虫就是从网上抓取网页,解析网页,然后进行数据的存储与分析,将从网页的解析到数据的转换存储。将学习过程中用到的解析技术,Scrapy 的各个模块使用与进阶到分布式爬虫学到的知识点、遇到的问题以及解决方法记录于此,以作总结与备忘,也希望对需要的同学有所帮...

2017-05-18 14:02:16

阅读数:3790

评论数:0

数据库开发规范参考

最近做一个小项目时要自行设计数据库,因此对数据库的相关设计规范进行了回顾,整理起来作为总结备忘,也为以后的数据库设计提供参考。

2017-05-18 13:56:33

阅读数:490

评论数:0

Scrapy 入门学习笔记(2) -- xpath 与 css 解析以及解析网页示例

最近学习用 Scrapy 框架写爬虫,简单来说爬虫就是从网上抓取网页,解析网页,然后进行数据的存储与分析,将从网页的解析到数据的转换存储。将学习过程中用到的解析技术,Scrapy 的各个模块使用与进阶到分布式爬虫学到的知识点、遇到的问题以及解决方法记录于此,以作总结与备忘,也希望对需要的同学有所帮...

2017-05-15 20:33:24

阅读数:8392

评论数:1

Apache 部署 Django 项目过程记录与问题总结

最近学习 Django 框架开发,将项目部署到 Linux 服务器上时遇到了很多坑,在此整理一下以作备忘,同时希望对需要的同学有所帮助。

2017-05-12 08:44:24

阅读数:1032

评论数:0

Scrapy 入门学习笔记(1) -- Scrapy 项目搭建与架构介绍

最近学习用 Scrapy 框架写爬虫,简单来说爬虫就是从网上抓取网页,解析网页,然后进行数据的存储与分析,将从网页的解析到数据的转换存储。将学习过程中用到的解析技术,Scrapy 的各个模块使用与进阶到分布式爬虫学到的知识点、遇到的问题以及解决方法记录于此,以作总结与备忘,也希望对需要的同学有所帮...

2017-05-12 08:37:03

阅读数:726

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭