mydeman的学习日志

知行合一

排序:
默认
按更新时间
按访问量

Python量化入门(1)- 开发环境的准备

Python应该已经占据了量化交易系统开发的半壁江山,大部分打着量化名义的课程都变成了Python教程,而忽略了能带来持续盈利的交易思想。Python作为开发交易系统的必知必会工具之一,重要性是毋庸置疑的,这一系列文章将会介绍在开发量化交易系统中用到的Python的基础知识,并结合实例加深理解。 ...

2018-06-28 16:24:48

阅读数:84

评论数:0

谈谈曲奇(Cookie)的作用

最近在使用南航的APP时,都会跳出一个提示: 说是要采集Cookie,并且承诺会保密存储。也许很多非技术的用户并不理解什么是Cookie,可是看到这种义正言辞的提示,也应该能知道Cookie看起来是一个很重要的东西,并且可能会和用户身份有关系。那Cookie到底是什么东西?又有什么作用呢? ...

2018-06-21 23:36:43

阅读数:71

评论数:0

量化交易系统任务框架的演化之路(5)用Kafka实现分布式计算任务框架

在之前的几篇文章中,都是基于单服务器系统讲解了任务框架的逐步演化,包含了效率、依赖关系、可管理性等几个方面的内容。可是随着量化系统的中因子、信号、数据预处理、日志监控等需求的不断增多,并且大家都知道量化交易系统,是对响应时间有要求的,尤其是对分钟级别甚至tick级别信号的检测等,那么这个时候,单机...

2018-06-14 13:24:35

阅读数:129

评论数:0

量化交易系统任务框架的演化之路(4)用Push方式解决任务之间的依赖

在上一篇文章《量化交易系统任务框架的演化之路(3)基于多状态的任务依赖解决》中提供了一种利用数据库作为状态数据交换媒介的解决方案,通过这种方法,实现了依赖和被依赖的任务之间解耦,但是问题也十分明显,就是轮询被依赖任务的状态的做法会带来无谓的计算资源的浪费,一旦任务过多,无论是对数据库还是对任务系统...

2018-06-07 17:11:01

阅读数:87

评论数:0

量化交易系统任务框架的演化之路(3)基于多状态的任务依赖解决

在量化交易系统任务框架的演化之路(2)状态管理中为任务引入了一个状态,解决了任务的重入问题,那么还有一个悬而未决的问题:如何解决任务之间的依赖关系?那么今天就来看看如何基于多状态解决任务直接的依赖关系。 假定有两个每天执行一次的任务A和B,任务B要在任务A的执行完毕后才能启动。在设计时,应该考虑...

2018-05-28 22:50:13

阅读数:98

评论数:0

量化交易系统任务框架的演化之路(2)状态管理

在上一篇文章(量化交易系统任务框架的演化之路(1)定时任务)的结尾提了三个问题,今天就来第一版的解决方案。 之前的实现方案中,所有任务都是无状态、无管理的,人工干预就比较麻烦。其实解决这个问题的方法很简单,那就是增加一个“状态”,看一下这个流程图: Created with Raphaël 2...

2018-05-25 13:47:41

阅读数:300

评论数:0

量化交易系统任务框架的演化之路(1)定时任务

一个完善的量化交易系统不但包含了最基本的选股、择时、回测等基本的任务,而且还包含了众多了独立的任务模块,这些任务模块被设计成可插拔的独立任务。本系列文章将会分别讲解几种不同的实现这些任务模块的技术。 定时任务 定时执行是一种普遍采用的技术,容易理解也方便实现,很多开发框架都为快速的设定定时...

2018-05-17 17:11:54

阅读数:471

评论数:2

实例说明MongoDB存储的行情数据如何选择合适的Shard Key

概述 当利用MongoDB的shard cluster技术做数据库扩展时,一个至关重要的点是要选择一个合适的shard key(片键),它是用来决定将数据在分片服务器上分配的策略。一个适用的shard key应该满足以下几个条件: 数据均分 所谓数据均分,就是要保证需要扩展的那部分数据能够...

2018-05-10 23:25:58

阅读数:149

评论数:0

使用MongoDB存储Docker日志(续)

在上一篇文章《使用MongoDB存储Docker日志》中完成了Docker + Fluentd + MongoDB的基本配置。但是在实际的使用过程中,却发现Docker生成的日志并不会立即写入到MongoDB中,有大概1分钟左右的延迟。 查阅Fluentd的文档得知,有一个flush参数可以控制...

2018-01-19 22:54:45

阅读数:329

评论数:0

使用MongoDB存储Docker日志

日志是系统很重要的一个组成部分,通过日志可以及时发现系统中存在的问题,也可以为修复问题提供线索。Docker提供了多种插件方式管理日志,本文就对使用MongoDB存储Docker日志的过程做个记录。 数据流 Created with Raphaël 2.1.2开始Docker容器Flu...

2018-01-17 23:03:04

阅读数:428

评论数:0

Docker绑定Remote API端口

Docker官方提供了Go、Python两种不同的SDK和HTTP形式的API,不熟悉Go语言,尝试了一下Python的SDK。Docker官方的Python SDK是针对2.x版本的,就直接在CentOS的Python2.7.5上进行了测试,可是却出现了错误: # python Pytho...

2018-01-12 14:51:45

阅读数:635

评论数:0

解决Jenkins创建Docker Image后无法推送到私有Registry的问题

最近刚开始使用Docker,把常用的命令摸了一遍后,就想把镜像的build过程放到Jenkins上。具体过程就不说了,十分简单,只需要几条命令就可以了。 可以在向私有registry推送时却报出了异常: docker push registry.mydocker.com/demo/smal...

2018-01-12 13:08:25

阅读数:650

评论数:2

CentOS7 SELinux阻止MongoDB启动的问题

在CentOS7上安装了MongoDB,更改了默认的日志和数据文件路径后,SELinux阻止mongod启动。

2017-11-09 20:05:29

阅读数:3186

评论数:7

Python中的文本替换

文本替换是常用字符串的常用操作,利用正则表达式可以进行比较复杂的替换。

2017-10-16 13:44:48

阅读数:2368

评论数:0

CentOS 7更新时出现Multilib version problems

解决CentOS7系统更新时出现的Mutilib version problems。

2017-10-07 08:14:20

阅读数:4079

评论数:0

一个可用的股票回测系统需要考虑的问题(持续更新中…)

搭建一个真实可靠的回测可以对实盘操作具有一定的参考和指导意义,但是在系统的搭建过程中,有些坑可能会被反复踩到,这里把之前遇到的问题和大家分享

2017-09-25 23:35:52

阅读数:1193

评论数:0

Elasticsearch上手 - 遇到的问题

记录在使用Elasticsearch时遇到一些问题。

2017-02-26 11:26:37

阅读数:4309

评论数:0

空间换时间,轻松提高性能100倍

空间换时间的最常用场景就是缓存,为了提高性能可以设置不同类型的缓存

2017-02-24 13:04:24

阅读数:1363

评论数:0

一次查询性能提高40倍的经历

随着系统的持续增大,性能的优化随处可见。这里就通过一个实例,看下优化的过程。数据库为MongoDB,数据量为800万左右,

2017-02-08 23:44:57

阅读数:2165

评论数:0

Elasticsearch——利用Parent-Child关系解决大数据场景下的实时查询

在大数据的应用场景,经常会遇到数据字段无法确定的问题,还要在这些数据上进行多重筛选。Elasticsearch作为一个良好的解决方案,不仅可以完美满足查询需求,也可以满足大数据量下的实时性要求

2017-02-07 23:58:33

阅读数:6207

评论数:0

Elasticsearch上手——Python API的简单使用

尝试通过Python API操作Elasticsearch

2017-02-01 14:23:16

阅读数:20268

评论数:4

Elasticsearch上手——熟悉基本操作

通过Kibana提供的工具熟悉创建Index、索引文档、搜索文档的基本操作和命令。

2017-01-26 23:11:20

阅读数:3770

评论数:1

Elasticsearch上手——结合Kibana的安装配置

在使用之前,第一步就是要完成安装。Kibana作为一个有力的工具,大大方便了elasticsearch的使用,因此一同安装。

2017-01-26 14:34:35

阅读数:9653

评论数:3

Elasticsearch上手——几个基本概念

Elasticsearch的说明文档中,基本概念(Basic Concepts)一节中提到了一些术语,但是刚开始阅读时,有些一头雾水,结合实践经验,回过头来尝试重新理解一下。

2017-01-26 12:05:48

阅读数:986

评论数:0

如何快速学习

这是一位新同事和我关于如何快速学习的邮件对话,重新进行了整理。现在有个困惑,之前你说在公司要快速的学习,可能之前接触java不是很多,在进行项目开发时,发现好多框架的代码看不懂,所以也就无从下手,感觉好多东西要学,而又不知道先学哪个,这样就又陷入了学习看书的情景,工作就耽搁了。比如今天在写代码时看...

2014-04-18 17:35:52

阅读数:2930

评论数:0

HTML5 Canvas遇到的几个问题

最近在一个项目中尝试通过Hybrid的方式开发客户端程序,来尽量降低由于程序业务逻辑或者显示界面的改变而来的升级困扰。Hybrid的方式就是本地代码和HTML5应用相结合的方式,其中本地代码负责和底层的硬件打交道,通过WebView提供的接口将硬件数据传递给运行其中HTML页面。这种方式很适合既要...

2013-09-17 12:24:16

阅读数:14841

评论数:1

Subversion配置子目录权限时的错误

昨天添加一个新的代码库,需要对子目录做读写权限的控制,本来是一件很简单的事情:Cent OS上配置Apache2 + SVN(续)实现对目录访问的精确控制可是添加完成以后,就出现了问题了。[repo:/] user1 = rw user2 = r user3 = r [repo:/client/...

2013-08-23 17:06:31

阅读数:3621

评论数:1

持续集成之路——使用SpringTestDbunit管理数据集的一个问题

在进行数据访问的单元测试,一般都会新增数据记录的情况,那么在设置数据集一般会是: 然后在测试方法中,通过验证新增的记录数或者新增记录的内容,确保被测试方法正确执行: @Test @DatabaseSetup("user/UserService-addUser-datase...

2013-08-22 09:18:20

阅读数:3334

评论数:0

持续集成之路 —— Mock对象引起的测试失败

今天遇到了一个很奇怪的问题,纠结了好久。在和同事念叨这个问题时,突然想到了问题所在。        问题现象: 在一个Service的单元测试类中有八个测试用例,单独运行时都可以正常通过。可是一旦一起运行时,总是会有固定的两个测试失败。        问题原因:有一个测试用例mock了Servic...

2013-08-12 15:14:23

阅读数:3457

评论数:0

持续集成之路——服务层的单元测试

在完成了数据访问层的单元之后,接下来看如何编写服务层(Service)的单元测试。服务层应该是整个系统中得重中之重,严密的业务逻辑设计保证了系统稳定运行,所以这一层的单元测试也应该占很大比重。虽然一般情况下单元测试应该尽量通过mock剥离依赖,但是由于在当前的项目中数据访问层使用spring-da...

2013-07-24 00:07:53

阅读数:4382

评论数:1

持续集成之路——数据访问层单元测试遇到的问题

在编写数据访问层的单元测试时,遇到不少问题,有些问题可以很容易Google到解决方法,而有些只能自己研究解决。这里分享几个典型的问题以及解决方法。先交代一下用到的测试框架 Spring Test + SpringTestDbUnit + DbUnit。一、先说一个低级的问题。Spring通过标签提...

2013-07-19 00:09:42

阅读数:13956

评论数:0

持续集成之路——数据访问层的单元测试(续)

在上一篇中,完成了对测试用数据源的配置。下面继续构建可运行的测试。        三、使用DBUnit管理数据        测试的维护一直是我比较头疼的问题,期望可以有一个比较易于维护和可复用的方法来管理这些数据。在没有更好的方法之前,暂时选用DBUnit。(反思:其实我一直在为没有发生的事情担...

2013-07-15 14:21:17

阅读数:3270

评论数:0

持续集成之路——数据访问层的单元测试

作为保证项目质量的重要工具持续集成一直是一个热议的话题,也被业界积极采用。我也试图记录自己在尝试过程中遇到的点点滴滴。单元测试作为持续集成的基石,是绝对不可或缺的部分。如何写好单元测试?如何让代码变得具有可测试性?如何维护单元测试?这些问题萦绕心头已久,现在从数据访问层入手,逐步深入,记录所思所为。

2013-07-15 06:45:00

阅读数:10084

评论数:7

JavaScript在Android的WebView中出现一个问题

今天被一个问题困扰,有一个页面在浏览器(无论是手机还是PC)上运行良好,而通过WebView就出现了问题,有两个值得计算始终出错。于是就通过alert,把这个值显示出来,发现和浏览器上计算的结果差了很多,本来是正数,却变成了负数。仔细比对发现,其中一部分数字被抹掉了,这些数字都是通过parseIn...

2013-05-22 11:14:33

阅读数:2440

评论数:0

关于建立公司内部交流分享活动的一点尝试

如今的世界变化太多,而一个人的精力和时间总是有限,可是如何快速地提升自己或者整个团队水平是一个亟待解决的问题。在公司内部开展定期地交流活动,一直是我十分想做的事情,最近在公司的大力支持下的终于得以实现。      一、为什么要开展交流活动?        1. 开拓视野,分享经验。        ...

2013-05-20 23:32:03

阅读数:9186

评论数:1

Tortoise SVN出现OPTIONS of '': could not connect to server错误

今天把PC从一个有代理的环境中移了出来,开机后的第一件事情就是把所有应用中的代理设置去掉,当然也包括TortoiseSVN。通过TortoiseSVN的Context Menu --> Settings -->Network ,把Enable Proxy Server前面的勾去掉。正常...

2013-05-17 10:30:43

阅读数:20973

评论数:2

WPF遇到的一个小问题

这两天又开始学习在VS2008种用WPF编写Windows应用程序,遇到了不少小问题。下面几个错误困扰了好久:已定义了一个名为“InitializeComponent”的具有相同参数类型的成员已经包含“_contentLoaded”的定义...类似的几个错误。原因:由于这几个控件是从另外一个复制过...

2012-11-20 01:02:13

阅读数:2685

评论数:0

配置Nexus私服遇到的几个小问题

今天在安装配置nexus私服时,遇到了几个小问题:1. 无法启动。通过 ./nexus start启动时,会自动退出。通过./nexus console查看,发现时由于目录的权限问题,导致无法写日志和pid文件。Nexus的官方文档建议安装到 /usr/local下面,并且不建议使用root账户启...

2012-10-31 13:25:13

阅读数:14474

评论数:3

Eclipse无法直接运行Maven构建的webapp

最近开发的一个项目一直存放在移动硬盘上,结果前天由于查了多个设备,盘符就变了,Eclipse也就找不到了项目。把项目拷回本地磁盘后,重新打开。直接Run On Server,提示ClassNotFoundException,找不到Spring ApplicationContext。进到%ECLIP...

2012-09-12 13:49:46

阅读数:4850

评论数:0

最近面试的一点感想

最近不得不开始寻找新的工作机会,面试是必不可少的环节。最近几次的屡屡失败,也让陷入思考,或许自己一直被幸运关照,能顺利加入到一个个令人兴奋的团队,认识一批批珍贵的同事。细细想来,也许以下几条是失败的主要原因:        1、非科班出身,基础知识薄弱,尤其是算法。自己本来就不是聪明的人,对于算法...

2012-08-21 17:37:11

阅读数:2665

评论数:3

Redmine、Apache、Git集成遇到的重重困难

Remine、Apache和Git这个三个软件,无论哪一个,单独说来安装、配置和使用都是非常方便的,可是想把它们结合起来,却不是那么容易的事情。这里就把这一周来遇到的种种问题记录下来。        一、Redmine + Apache的fcgi配置         参考文章:        ht...

2012-05-25 14:42:00

阅读数:11573

评论数:2

简单方便Git的艰难第一步

现在Git已经是铺天盖地了,如果再不用尝试真的是要out了。于是决定在新的项目中应用Git。奋战了一个下午加另外2个小时,终于搞定。发现Git真的真的是很简单,超出我的意料。可是既然简单,为什么又是艰难的呢?因为从之前CVS、SVN的思路和使用习惯转过来的确有点费劲。        问题一:Git...

2012-05-18 13:54:10

阅读数:9664

评论数:3

如何有效地帮助新人融入项目中

今天看了《布道之道》,里面有些提到的很多经验的确很实用。不仅又想起了,在刚刚参加工作时,在第一家公司里就进行了如何提高沟通效率的培训。当时很多都以自身的经历,说明了沟通的重要性,也分享了一些沟通技巧。前几天,有新同事加入到项目中,来参与其中一个日志分析软件模块的开发。这次,我并没有亲自给他讲解,而...

2012-05-04 00:32:46

阅读数:9554

评论数:39

关于如何衡量项目的进度一点思考

在最近的一个项目中,每次的周总结会议上对项目进度的衡量都是最重要的一个环节,也是花时间最长的一个环节。每次大家都会说:我完成了50%,我完成了80%,我完成了90%…… 但是我心中一直有一个疑问:这个百分比对项目真正进度的衡量有多大意义呢?在当前的这个项目中,我看到的现象就是,大家都说自己的功能完...

2012-03-19 13:33:07

阅读数:2655

评论数:1

换个角度看12306售票网站——程序员的自我修养

         这些天最受全社会关注的话题就是火车票,最让网民无奈地就是12306购票网站,最让程序员痛快的就是大骂12306网站的架构里的诸多愚蠢的做法。         老实说刚开始的时候,单从用户体验上已经让我对12306的售票网站失望之极:每次都要登录,每次登录都告诉我访问人...

2012-01-11 10:31:02

阅读数:6324

评论数:27

从零开始配置MySQL MMM (续)——32bit CentOS 5上遇到的一些问题

在上一篇《从零开始配置MySQL MMM》中,在64bit的RHEL6中安装和配置MySQL-mmm。这两天又拿到了一个全32bit的CentOS 5,在配置过程中有遇到了一些其他问题。一、依赖问题        因为这个环境中无法通过yum直接安装mysql-mmm,所以只有通过下载安装文件进行...

2011-12-29 16:16:24

阅读数:5286

评论数:3

使用RockMongo管理MongoDB

前些天尝试了phpMyAdmin,功能全面,也很好用。之前也看到过NoSQLFan推荐的一些MongoDB的管理工具,于是就想拿来试一试。《MongoDB管理工具》里推荐了好几款试用的工具,一眼就相中了rock_mongo ,事实证明选择很正确,还有中文文档        一、安装        ...

2011-12-19 00:06:09

阅读数:22177

评论数:7

ERROR 1025 (HY000): Error on rename of to

刚才又一个一不小心,在Slave上执行了更改数据库schema的操作,结果是这台服务器在mmm_control中的状态就变成了:REPLICATION_FAIL。先通过writer执行了同样的操作,保证服务器正常运行,然后就考虑把这台slave重新拉回到mysql-mmm阵营。        看了...

2011-11-28 01:00:31

阅读数:10494

评论数:0

最近使用Eclipse遇到的几个问题

自从用了Eclipse以后就再也没有更换过IDE,虽然期间也尝试过NetBeans、Idea等,但是总感觉用起来不顺手,快捷键也找不到,最后还是回归了Eclipse。不过,Eclipse偶尔也会耍耍小脾气,出现一些莫名其妙的问题。下面三个就是这一段时间经常碰到的。         1、在Eclip...

2011-11-08 23:40:41

阅读数:7014

评论数:0

Spring中Aspectj和Schema-based AOP混用引起的错误

前几天要在项目中增加一个新功能用来监控某些模块的运行情况,自然就想到了使用Spring的AOP来实现。之前已经有类似的AOP代码,使用的是Schema-based形式配置的,也就是在Spring的ApplicationContext.xml中加入了: <bean id="...

2011-11-08 14:32:05

阅读数:5246

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭