关闭

用IT技术玩金融系列文章

本文转载至:http://blog.fens.me/series-it-finance/ 用IT技术玩金融系列文章,将介绍如何使用IT技术,处理金融大数据。在互联网混迹多年,已经熟练掌握一些IT技术。单纯地在互联网做开发,总觉得使劲的方式不对。要想靠技术养活自己,就要把技术变现。通过“跨界”可以寻找新的机会,创造技术的壁垒。 金融是离钱最近的市场,也是变现的好渠道!今天就开始踏...
阅读(23) 评论(0)

tushare-pandas 添加自定义的MA移动平均线

使用pandas的rolling.mean函数自定义移动平均线...
阅读(38) 评论(0)

十分钟了解pandas(总结)

这里是官网上的原文。每次都还链接到最新版本。这篇文章,对于不是英语母语的,10分钟,我觉得绝逼是看不完的。网上已经有很多翻译了。我只是把文章的结构组织以下,死记硬背一下它提到的知识点。对象创建 创建Series 创建基于时间的index 创建DataFrame 查看数据 首尾数据 查看索引列值 查看统计数据 转置 索引排序 按列值排序 选取 取列 取行 通过标签来选取 loc 通过位置来选取 ilo...
阅读(49) 评论(0)

最强PostMan使用教程(3)- script

postman中的script Pre-request scripts 递增的url参数 变化的request body test script 在test suite中运行 之前都两篇文章都是一年多之前的事情了。最开始的初衷是想把各种细节都写了,中途因为忙其他事情,就忘记了,放弃了。但我这个博客好像最火的就是这个系列,一直有人评论。针对问的最多的问题,我还是试着看看写下一些东西,看看是否有用吧。...
阅读(87) 评论(0)

ElasticSearch Curator使用教程

[TOC] 在日常工作中,当我们需要去维护一个elasitcsearch集群以期能稳定工作。通常需要有计划的做很多事情。比如定期的清除数据,合并 segment,备份恢复等。如果我们具备编程能力,这些工作一般都是可以通过各种编程语言根据我们的需求,调用elasticsearch的API可以完成的。但是,重复造轮子之前,我们应该确定,别人没有遇到过类似的事情,没有通用的工具可以完成我们的需求,我们才...
阅读(216) 评论(0)

Reindex API 详解

Reindex API 详解 只要有使用到elasticsearch的场景,那么或多或少总是会遇到需要重构索引的情况。如果对reindex API不熟悉,那么在遇到重构的时候,必然事倍功半,效率低下,一整天都不开心。 在开始讲解具体的API的时候,有一点必须知道,Reindex不会尝试设置目标索引。它不会复制源索引的设置。您应该在运行_reindex操作之前设置目标索引,包括设置映射,分片计数,...
阅读(132) 评论(0)

用ELK导入历史log的正确姿势

很不幸的是,filebeat在处理log文件的时候,是并行处理的,当你有100个按照日期分割的日志文件,则这一个文件会同时被读取,并同时写入到kafka当中。logstash从kafka上读取数据时,读到不同日期的数据,基本上会在极短的时间内读到所有日期的数据,也就会在极短时间内往elasticsearch上创建大量的基于日期的index。...
阅读(139) 评论(0)

监控ElasticSearch性能指标

这篇文章是关于Elasticsearch性能指标的4部分系列的第1部分。在这篇文章中,我们将介绍Elasticsearch如何工作,并探索您应该监控的关键指标。第2部分解释了如何收集Elasticsearch的性能指标,第3部分将介绍如何使用Datadog来监视Elasticsearch,第4部分将讨论如何解决五个常见的Elasticsearch问题。 什么是Elasticsearch? ...
阅读(184) 评论(0)

Pandas和spark在DataFrame上的区别

Pandas Spark 工作方式 单机single machine tool,没有并行机制parallelism 不支持Hadoop,处理大量数据有瓶颈 分布式并行计算框架,内建并行机制parallelism,所有的数据和操作自动并行分布在各个集群结点上。以处理in-memory数据的方式处理distributed数据。 支持Hadoop,能处理大量数据 ...
阅读(226) 评论(0)

elasticsearch painless最强教程 二

painless的正则匹配 painless查找操作符 painless匹配操作符 painless pattern matcher painless CharSequence 在上一篇文章elasticsearch painless最强教程中,已经介绍了一些painless的基本例子,喜欢动脑子的同学应该已经看到了plainless或者说是elasticsearch的script强大之处了。我...
阅读(233) 评论(0)

elasticsearch painless最强教程

何为painless painless的特性 简单的例子 具体例子 初始化数据 用painless获取doc的值 通过painless更新对象值 单条记录更新 批量更新 Dates...
阅读(283) 评论(0)

如何使用logstash更新已有的elasticsearch记录

如何使用logstash更新已有的elasticsearch记录 常使用elasticsearch的童鞋,一定会遇到这种情况:我们需要修改已存储在ES中的数据,无论是数据内容或者是数据结构,来满足我们不断变化的需求。当我们需要修改数据的时,如果自己撸码一条一条的改动数据,不免有点低级,特别在大量的数据都需要修改的时候,这根本就是无法完成的任务。此时,势必要求助于工具。不知道Logstash是...
阅读(231) 评论(0)

Logstash的性能测试 二

当然,我们需要的不是logstash的管道速度,而是需要知道在特定filter配置下,logstash的吞吐量。 因此,可以把输入改为正常的log输入,比如syslog input { generator { count => 2000000 message => ',Sep 7 09:30:01,HostName=sz180001,IP=lumpb.c...
阅读(228) 评论(0)

Logstash的性能测试

日志从客户端应用被收集,到最终写入elasticsearh被用户搜索到需要在好几段网络的流转。首先从客户端(filebeat或rsyslog)到kafka,再由kafka到logstash,再从logstash到elasticsearch。我们要提高整个集群的性能,首先得有专门的性能测试。但性能测试不能直接做起点到终点的测试,因为当性能不如预期的时候,这种测试无法知道性能的瓶颈到底出现在整个pip...
阅读(258) 评论(0)

fold函数和reduce函数的区别(不特指spark)

In a fold over a collection, the accumulator type may be different than the type of the collection, and a zero element is usually given. In a reduce, you don't give a zero element and the accumulato...
阅读(218) 评论(0)
107条 共8页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:392883次
    • 积分:4058
    • 等级:
    • 排名:第8146名
    • 原创:69篇
    • 转载:35篇
    • 译文:3篇
    • 评论:45条
    最新评论