2018年07月_Saggitarxm

原创 curl 模拟 GET\POST 请求，以及 curl post 上传文件

curl 模拟 GET\POST 请求，以及 curl post 上传文件一般情况下，我们调试数据接口，都会使用一个 postman 的工具，但是这个工具还是有点大了。事实上，我们在调试一些小功能的时候，完全没有必要使用它。在命令行中，我们使用 curl 这个工具，完全可以满足我们轻量的调试要求。下面，我们来简单的说一下，curl 的一些常见使用方法：curl GET 请求curl...

2018-07-31 10:29:32 1558

原创 Python Geoip 获取IP地址经度、纬度

参考：https://pythonhosted.org/python-geoip/简介：除了一些免费的 API 接口，例如 http://ipinfo.io/223.155.166.172 可以得到一些信息外，还可以通过 python-geoip 库来解决这个问题。shell > curl http://ipinfo.io/223.155.166.172{ "ip":...

2018-07-30 16:27:48 2268

原创 CentOS7用yum安装mysql

centos7默认不支持mysql（原因大家都懂），默认支持的是mariadb，mariadb是mysql一个开源分支。 1、卸载mariadb，否则安装mysql会出现冲突执行命令rpm -qa | grep mariadb列出所有被安装的mariadb rpm 包；执行命令rpm -e --nodeps 包名称（比如：rpm -e --nodeps mariadb-...

2018-07-27 15:13:02 141

原创 CentOS7安装docker

一、安装docker1、Docker 要求 CentOS 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本 $ uname -r2、使用 root 权限登录 Centos。确保 yum 包更新到最新。[root@localhost ~]# yum update3、卸...

2018-07-27 15:00:01 160

原创 curl命令模拟post请求发送json格式数据

以下代码可以作为测试接收请求的程序直接复制使用：from flask import Flask, requestapp = Flask(__name__)@app.route('/service', methods=['POST'])def post_route(): if request.method == 'POST': headers = reques...

2018-07-18 17:58:26 110089 7

原创关于Python安装模块出现error: command 'gcc' failed with exit status 1错误的解决方法

当使用pip install ###时，有时会出现如标题上的问题，我遇到的问题如下：_posixsubprocess.c:3:20: fatal error: Python.h: No such file or directory #include "Python.h" ^ compilation terminated. ...

2018-07-17 16:10:34 9442

转载 Elasticsearch - 使用curl命令操作elasticsearch

转载自大言不惭的博客本文由大岩不灿发表于 2015年4月25日浏览 40,573 次第一：_cat系列_cat系列提供了一系列查询elasticsearch集群状态的接口。你可以通过执行curl -XGET localhost:9200/_cat获取所有_cat系列的操作=^.^=/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/ma...

2018-07-12 18:35:25 2628

原创 Elasticsearch - python操作es，以及curl命令查询es的总结

#coding=utf-8from datetime import datetimefrom elasticsearch import Elasticsearch# 连接elasticsearch,默认是9200es = Elasticsearch()# 创建索引，索引的名字是my-index,如果已经存在了，就返回个400，# 这个索引可以现在创建，也可以在后面插入数据的时候再临...

2018-07-06 09:43:48 10794

转载 ElasticSearch 学习010 - 结构化查询（包括新特性）

之前我们所有的查询都属于命令行查询，但是不利于复杂的查询，而且一般在项目开发中不使用命令行查询方式，只有在调试测试时使用简单命令行查询，但是，如果想要善用搜索，我们必须使用请求体查询(request body search)API。之所以这么称呼，是因为大多数的参数以JSON格式所容纳而非查询字符串。请求体查询，并不仅仅用来处理查询，而且还可以高亮返回结果中的片段，并且给出帮助你的用户找寻最好结果...

2018-07-06 09:43:25 246

转载 ElasticSearch 学习09 - 映射和分析（string类型废弃）

在ElasticSearch中，存入文档的内容类似于传统数据每个字段一样，都会有一个指定的属性，为了能够把日期字段处理成日期，把数字字段处理成数字，把字符串字段处理成字符串值，Elasticsearch需要知道每个字段里面都包含了什么类型。这些类型和字段的信息存储（包含）在映射（mapping）中。核心简单字段类型Elasticsearch支持以下简单字段类型：String：string（弃用）,...

2018-07-04 15:59:08 1158

转载 ElasticSearch 学习08 - 分布式文档存储（wait_for_active_shards新参数分析）

学完ES分布式集群的工作原理以及一些基本的将数据放入索引然后检索它们的所有方法，我们可以继续学习在分布式系统中，每个分片的文档是被如何索引和查询的。路由首先，我们需要明白，文档和分片之间是如何匹配的，这就是路由。当你索引一个文档，它被存储在单独一个主分片上。Elasticsearch是如何知道文档属于哪个分片的呢？当你创建一个新文档，它是如何知道是应该存储在分片1还是分片2上的呢？进程不能是随机的...

2018-07-04 15:58:03 1121

转载 ElasticSearch 学习07 - 分布式集群学习 2

前面主要学习了ElasticSearch分布式集群的存储过程中集群、节点和分片的知识（ElasticSearch 5学习(6)——分布式集群学习分享1），下面主要分享应对故障的一些实践。应对故障前面说了很多关于复制分片可以应对节点失效，很好保证集群的安全性，下面我们可以尝试杀掉第一个节点的进程，我们的集群变化成如下（所有的操作都是ElasticSearch自动处理）：我们杀掉的节点是一个主节点。一...

2018-07-04 15:56:46 165

转载 ElasticSearch 学习06 - 分布式集群学习 1

在使用中我们把文档存入ElasticSearch，但是如果能够了解ElasticSearch内部是如何存储的，将会对我们学习ElasticSearch有很清晰的认识。本文中的所使用的ElasticSearch集群环境，可以通过查看ElasticSearch 5学习(3)——单台服务器部署多个节点搭建学习。ElasticSearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向...

2018-07-04 15:55:39 164

转载 ElasticSearch 学习05 - 第一个例子

想要知道ElasticSearch是如何使用的，最快的方式就是通过一个简单的例子，第一个例子将会包括基本概念如索引、搜索、和聚合等，需求是关于公司管理员工的一些业务。员工文档索引业务首先需要存储员工数据。这将采取一个员工文档的形式：单个文档表示单个员工。在Elasticsearch中存储数据的行为称为索引，但是在索引文档之前，我们需要决定在哪里存储它。在Elasticsearch中，文档属于某个类...

2018-07-04 15:54:13 301

转载 ElasticSearch 学习04 - 简单搜索笔记

空搜索：GET /_searchhits：total 总数hits 前10条数据hits 数组中的每个结果都包含_index、_type和文档的_id字段，被加入到_source字段中这意味着在搜索结果中我们将可以直接使用全部文档。每个节点都有一个_score字段，这是相关性得分(relevance score)，它衡量了文档与查询的匹配程度。默认的，返回的结果中关联性最大的文档排在首位；这意味着...

2018-07-04 15:52:36 191

转载 ElasticSearch 学习03 - 单台服务器部署多个节点

一般情况下单台服务器只会部署一个ElasticSearch node，但是在学习过程中，很多情况下会需要实现ElasticSearch的分布式效果，所以需要启动多个节点，但是学习开发环境（不想开多个虚拟机实现多个服务器的效果），所以就想着在一台服务器上部署多个结点（下文以2个结点作为例子），两个节点分别称为实例一、二。1、首先将elasticsearch-5.0.2文件夹再复制一份# wuxiwe...

2018-07-04 15:51:08 787

转载 ElasticSearch 学习02——Kibana+X-Pack介绍使用

Kibana是一个为 ElasticSearch 提供的数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。Kibana目前最新的版本5.0.2，回顾一下Kibana 3和Kibana 4的界面。下面的图展示的是Kibana 3的界面，所有的仪表盘直接放置主页。下面的图展示的是Kibana 4的界面，和Kibana 3最大的区别是将原来的主体分成三个部分，分别是发现页、...

2018-07-04 15:49:54 246

转载 ElasticSearch 学习01——安装Elasticsearch、Kibana和X-Pack

安装准备：安装Elasticsearch唯一的要求是安装官方新版的Java，包括对应的Jdk。安装Elasticsearch首先到官网下载最新版本的Elasticsearch压缩包。可以使用命令，注意将最新的可用的下载链接填入：curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0.2.zi...

2018-07-04 15:40:46 192

原创 elasticsearch定期删除策略 - 日志分析系统ELK搭建

日志分析系统ELK搭建ELKELK是日志收集、索引与检索三件套，包含了三个组件ElasticSearchLogstashKibana其中ElasticSearch完成日志的索引，并提供查询接口，Logstash完成日志的收集，Kibana则提供可视化展示有了ELK，我们不再需要到线上的每一台机器上grep日志，而且能可视化查询任何你想查询的日志信息。通过Kibana能非常直接漂亮的展示很多信息，E...

2018-07-04 15:35:35 24408 3

原创 ORM TO SQL

#01query_data = db.session.query(TABLE_01,TABLE_02,).filter(TABLE_01.字段 == TABLE_02.字段,)SELECT * FROM table_01, table_02 WHERE table_01.字段 = table_02.字段#02query_data = db.session.query(TABLE_01....

2018-07-03 18:11:31 493

原创 python - 在 flask-sqlalchemy中,将ORM查询语句转换成原始SQL打印出来

一句话总结，直接上代码，例：#####################################################logging.info("========================= select sql ==============================")from sqlalchemy.dialects import postgresqlrt...

2018-07-03 11:05:15 8262 3

原创将项目（代码）从GitHub上克隆（下载）到本地仓库

要将项目从GitHub上克隆到本地，首先你得下载并安装好git for window。下载地址：http://www.xp510.com/xiazai/Application/other/30988.html安装时，直接next就行。配置Git：1、安装完后，右键单击桌面空白处，选择Git Gui Here，进去之后，选择左上角的help选项，会出现一个Show SSH Key，然后点击“Gen...

2018-07-02 17:51:37 6543

原创 windows下Git的安装

在linux系统下，可以直接在命令窗口安装和使用git。但是，在windows系统下，想要达到同样的效果，可以安装git，使用git bash到达效果。具体安装步骤如下：第一步：官网上下载git 网址：https://git-for-windows.github.io/；版本：2.11.0。第二步：双击下载好的git安装包，弹出提示框，如下图：第三...

2018-07-02 17:41:13 150

原创 python - python中隐藏的功能

你如果打开python交互环境，输入import this可以看到以下内容：?1234567The Zen of Python, by Tim PetersBeautiful is better than ugly. 优美胜于丑陋Explicit is better than implicit. 明了胜于晦涩Simple is better than complex. 简单胜过复杂Complex ...

2018-07-02 16:50:11 2329

原创 python - python中的30个编程小技巧

从公众号上看到了一篇文章《30个python编程技巧！》，觉得有些挺有用的，有的也一直在用，就挨个实现了一下。 1、原地交换两个数字In [1]:x, y =10, 20print(x, y)y, x = x, yprint(x, y)10 2020 102、链状比较操作符In [3]:n = 10print(1 < n < 20)print(1 > n &l...

2018-07-02 16:43:09 224

原创 python - python中的几个小技巧

枚举不要这么做：i = 0for item in iterable: print i, item i += 1而是这样：for i, item in enumerate(iterable): print i, itemEnumerate可以接受第二个参数，例如：>>> list(enumerate('abc'))[(0, 'a'), (1, 'b'), (2, ...

2018-07-02 16:20:12 125

原创 python - python的常用模块

模块：用一堆代码实现了某个功能的代码集合，模块是不带 .py 扩展的另外一个 Python 文件的文件名。一、time & datetime模块 1 import time 2 import datetime 3 4 print(time.asctime()) # 返回时间格式：Sun May 7 21:46:15 2017 5 print(time.time()) ...

2018-07-02 16:12:55 216

SAGGITARXM