- 博客(83)
- 资源 (1)
- 收藏
- 关注
原创 【Alphalens】使用Alphalens配合Akshare进行双均线因子分析,附源码及常见问题
Alphalens 是非常著名的一个python因子分析库。但是该库由于目前已经不怎么维护,问题非常多。。由于该库的demo都是基于国外雅虎财经的接口yfinance。如果使用国内的akshare配合使用会出现一下问题。需要对Alphalens接口非常熟悉。建议阅读其原始接口的注释,特别是get_clean_factor_and_forward_returns方法。
2024-04-15 19:47:20
758
原创 pyfolio工具结合backtrader分析量化策略组合,附源码+问题分析
pyfolio可以分析backtrader的策略,并生成一系列好看的图表,但是由于pyfolio直接install的稳定版有缺陷,开发版也存在诸多问题,使用的依赖版本都偏低,试用了一下之后还是更推荐quantstats。
2024-01-06 10:44:58
1820
2
原创 backtrader框架初探,轻松跑通策略并策略分析
网上有很多backtrader的文章,并有些将其与vnpy做比较,经过安装后发现,还是backtrader教程简单。
2024-01-06 09:08:18
706
原创 【svn】win11最新svn每天自动化定时update、commit,隐藏窗口,定时脚本编写
本文使用schtasks结合bat脚本实现全自动svn update以及commit操作。执行时隐藏cmd窗口,全自动后台执行。
2023-12-24 10:37:10
1527
原创 【DataX】windows下本地DataX同步hive到mysql,hive带Kerberos认证
修改job文件中keytab与conf文件的路径为本地路径,这两个文件中有hosts修改过的地址,所以需要将linux下的hosts复制到win下的hosts。windows下本地debug运行同步,hive到mysql,其中hive带Kerveros认证的方法如下。下载https://github.com/steveloughran/winutils。解决方法:拷贝hive.keytab和krb5.conf文件到win系统。下载对应版本到本地,设置环境变量。修改datax.py路径。
2023-05-01 17:09:43
626
1
原创 【Yapi】Yapi最新版详细安装步骤图文教程,避免踩坑
首先安装node.js,选择版本node-v12.16.1-x64.msi一直点击下一步就好,路径默认C盘就好,不需要做修改。
2023-03-30 11:02:44
2842
1
原创 【Doris】Doris数据库最新版安装方法,详细图文教程
Doris 作为一款开源的 MPP 架构 OLAP 数据库,能够运行在绝大多数主流的商用服务器上。
2023-01-13 22:11:41
4794
原创 【Vim】Vim学习,第一讲,Vim的基本操作
Vim的基本操作,包含Vim学习参考,bilibili up主TheCW,oeasy教您零基础玩转编辑神器vim,简明VIM练级攻略,vim游戏,vim英语,慕课玩转vim,Vim使用技巧必知必会等。
2022-10-24 22:46:42
1680
原创 关于嵌套lambda表达式的理解
在UCB CS 61A的Homework 02中,有这样一个问题:Question 4: Church numerals难以理解的那段代码为:successor函数使用 lambda 返回匿名函数。这很难阅读,所以我们可以使用一个命名函数替换它。所以现在我们已经分解了原函数,可以看到successor返回一个函数,而该函数又返回另一个函数,该函数返回…。 f(n(f)(x)) 让人很难阅读,其含义为函数f被参数 n(f)(x)调用,而n(f)返回一个函数传递参数x。让我们使用一些更具描述性的变量名称
2022-06-24 15:34:50
748
原创 我的创作纪念日2022年5月8日
机缘还是想通过写文章记录自己学习编程的过程,不论是记录学习笔记,还是记录自己曾经碰到过的问题,我觉得都很有意义!收获通过创作可以分享自己的东西,与更多的人交流,解决自己问题的经历也可以给他人作为参考。日常目前在校学习,学习之余创作分享,因为学校的事情比较多,所以还是得自己挤出时间来学习自己喜欢的东西。憧憬未来的目标是先好好毕业,然后参加工作,希望自己能够在工作领域有所建树;在行业方面,希望自己以后能成为领域行家,根据公司脉络发展进步,能够让自己与公司共同进步,实现双赢。...
2022-05-08 16:12:55
155
2
原创 Markdown编辑公式错误ParseError: KaTeX parse error: {align} can be used only in display mode
问题描述编辑公式:$\begin{align} & \sum\limits_{i=1}^{n}{k=\frac{1}{2}}n(n+1) \\ & \text{ }=\Theta ({{n}^{2}}) \\ \end{align}$Markdown报错:ParseError: KaTeX parse error: {align} can be used only in display modeCSDN报错:KaTeX parse error: No such
2022-03-29 23:05:49
3236
1
原创 【C语言】数据结构:数组,链表,栈,队列,树
3 线性结构3.1 【数组】连续存储1、什么叫做数组 元素类型相同,大小相等(数组传参,只要传进去首地址和长度就行)2、数组的优缺点(相对于链表): 优点: 存取速度快 缺点: 事先必须知道数组的长度 插入删除元素很慢 空间通常是有限制的 需要大块连续的内存块 插入删除元素的效率很低定义一个数组至少需要3个参数:首地址,长度,有效个数。用指针自己定义一个数组:# include <stdio.h># include <malloc.h>
2021-12-19 17:36:19
2688
原创 【C语言】数据结构预备知识,指针,数组,结构体,动态内存分配与释放
1 数据结构概述(教材:严蔚敏、吴伟民,该书程序是伪算法具体的程序是高一凡)学完数据结构之后会对面向过程的函数有一个更深的了解。1.1 定义我们如何把现实中大量而复杂的问题以特定的数据类型(单个数据怎样存储?)和特定的存储结构(个体的关系)存到主存储器(内存)中,以及在此基础上为实现某个功能(比如查找某个元素,删除某个元素,对所有元素进行排序)而执行的相应操作,这个相应的操作也叫算法。(比如班里有15个人,其信息量也许一个数组就搞定了,但是假如10000个,怎么办?内存也许没有这么多连续的空间,所以
2021-12-19 16:58:14
2010
原创 Java实现:四六级真题批量PDF文件英文单词词频分析、排序
思路:使用一个LinkedHashMap,Key是单词,Value是词频,逐个遍历每个pdf文件,读取pdf中的所有文本,对于文本按照各种标点符号进行分割,将全部单词转为小写,遍历每个单词,看在map中是否存在,存在则词频+1,不存在则put增加新的单词。import com.yzk18.commons.IOHelpers;import com.yzk18.docs.PDFHelpers;import org.apache.pdfbox.pdmodel.PDDocument;import java
2021-08-04 18:01:21
582
1
原创 Java实现:BMI标准体重计算器
需求说明:提示用户输入性别、身高、体重,然后计算出用户的标准体重以及体重评级。世卫BMI计算方法:男性:标准体重=(身高cm-80)×70%女性:标准体重=(身高cm一70)×60%标准体重正负10%为正常体重;标准体重正负10%~20%为偏胖或偏瘦;标准体重正负20%以上为严重肥胖或严重瘦弱。代码如下:package GUI;import com.yzk18.GUI.GUI;public class BMI { public static void main(String[]
2021-08-03 22:17:54
5506
原创 YARN中Resource Manager的高可用中“脑裂”问题的解决
"脑裂"问题:Resource Manager由于网络闪退或者自身故障未及时对外做出响应,出现“假死”现象,导致出发了Zookeeper新一轮的主备切换,但是,对于“假死”的RM自身来说,它仍认为自己是Active,所以导致整个系统中出现多个Active的RM。“隔离”机制解决问题:在主备切换时,在RM竞争创建锁节点时,会携带zookeeper的ACL权限进行限制,目的是独占该节点。在主备切换后,原来“假死”的RM恢复后,会去更新zookeeper的节点状态,如果发现ACL不对,节点不是自己创建的,会将自
2021-07-21 19:31:57
764
原创 总结YARN中的三种资源调度器(Resource manager中)
YARN是对应用进行资源分配,应用是指applicatoin master,用来处理job的YARN的应用进程。(1)MapReduce采用的模型是一个用户作业对应一个应用。(2)Spark采用的是作业的每个工作流或每个用户的对话对应一个应用。效率比第一种高。(3)多个用户共享一个长期运行的应用。FIFO调度器(FIFO Scheduler)Hadoop最初设计时的调度器,为单队列调度器,无法充分利用硬件资源。先进先出队列,先为第一个应用请求资源,第一个满足后再依次为队列下一个提供服务,不适合共.
2021-07-20 20:46:32
3810
2
原创 MapReduce实现TopK算法 原理及代码
1、map阶段通过map方法将数据构造成数据小于K的TreeMap,在每次map后判断TreeMap的大小和K的大小,当TreeMap的数据量大于K时,取出最小的数。在map结束后会执行cleanup方法,该方法将map中的前K个数据传入reduce任务中。2、reduce阶段在 reduce方法中,依次将map方法中传入K个数据放入 TreeMap中,从而将K个数据利用红黑树的 firstKey方法按从大到小者利用红黑树的 lastKey方法按从小到大的顺序排列。从而求出前K个数。3、代码部分
2021-07-18 16:26:05
789
原创 理解Hive Map join
在Map阶段进行表之间的连接。而不需要进入 Reduce 阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。即在map端进行join,其原理是 broadcast join,即把小表作为一个完整的驱动表来进行join操作。除了一份表的数据分布在不同的Map中外,其他连接的表的数据(小表)必须在每个Map中有完整的拷贝。 Map Join会把小表全部读入内存中,在map阶段直接拿另外一个表的数据和内存中表数据做匹配,由于在map是进行了join操作,省去了 r
2021-07-17 10:00:02
173
转载 Hive中数据倾斜原因及处理
1数据倾斜的表现(数据分配不均匀)任务进度长时间维持在99%(或100%),看任务监控页面,发现只有少量(1个或几个) reduce子任务未完成。因为其处的数据量和其他 reduce差异过大。单一 reduce的记录数与平均记录数差过大,通常可能达到3倍甚至更多。最长时长远大于平均时长。2数据倾斜产生的原因key分布不均匀、业务数据特性、建表问题、某SQL语句本身就有数据倾斜(join连接、group by分组和 Count Distinct计算去重后的数量)。关键词情形后果
2021-07-16 09:45:41
1043
原创 Hive内部表和外部表的区别
主要体现在load与drop(是否同时删除元数据与数据)的操作上:创建表:Hive创建内部表时,会将数据移动到数据仓库指向的路径,hive管理数据的生命周期;Hive创建外部表时,仅记录数据所在的路径,不对数据的位置做任何改变。删除表:Hive删除内部表时,内部表的元数据和数据会一起被删除,同时对于一些hive操作不适应于外部表,比如单个查询语句创建表并向表中插入数据。Hive删除外部表时,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。创建外部表时,甚至不
2021-07-15 10:00:45
12164
原创 MapReduce的shuffle机制
shuffle过程(简单理解):从map的输出到reduce的输入之间的过程。概念:Map是映射,负责数据的过滤分法,将原始数据转化为键值对;Reduce是合并,将具有相同的key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处理Map的结果,必须对Map的输出进行一定的排序与分割,然后再交给对应的Reduce,Map端的输出作为Reduce的输入的过程叫做Shuffle.注意点:一个分片对应一个 Map 任务,每个 Map 任务里面会根据分片中的记录执行多次 map.
2021-07-14 22:29:28
237
1
原创 MapReduce1和MapReduce2(YARN)工作机制
算法流程:初始化: 伪头节点 dumdum ,节点 curcur 指向 dumdum 。循环合并: 当 l_1l1或 l_2l2为空时跳出;当 l_1.val < l_2.vall1.val<l2.val 时: curcur 的后继节点指定为 l_1l1,并 l_1l1向前走一步;当 l_1.val \geq l_2.vall1.val≥l2.val 时: curcur 的后继节点指定为 l_2l2,并 l_2l2
2021-07-14 16:56:19
327
原创 在HDFS写入数据,写某一副本出错时HDFS的处理流程
首先会关闭管线pipeline。将已经发送到管道中但是没有收到确认的数据包重新写回数据队列,这样无论哪个节点发生故障,都不会发生数据丢失。这个过程是在确认队列中将未收到确认的数据包删除,写回到数据队列。然后当前正常工作的数据节点将会被赋予一个新的版本号(利用namenode中租约的信息可以获得最新的时间戳版本),这样故障节点恢复后由于版本信息不对,故障DataNode恢复后会被删除。在当前正常的datanode中根据租约信息选择一个主DataNode,并与其他正常DataNode通信,获取每个Da..
2021-07-10 22:20:34
616
原创 NameNode中的高可用(HA)的实现
Namenode的HA主要包括:主备切换、共享日志储存。(可以拓展Zookeeper的选举算法,比如利用了强一致性)1、在集群中,存在多个 namenode,,这些 namenode处于 active或者 standby状态。2、共享日志存储: active向共享文件系统写入日志文件, standby从共享文件系统读取日志与 active保持同步。共享文件系统一般采用的是 Quorum Journal(群体日志)设计方案。这个方案中主要涉及 JournalNode(JN)和 Quorum Journal
2021-07-10 21:40:44
2155
2
原创 联邦HDFS的概念及原理,HDFS的1.x和2.x架构的区别
hadoop1.x的hdfs架构主要由namespace(命名空间)和Block Storage(块的存储)两层组成单个namenode限制了性能。hadoop HDFS联邦架构联邦HDFS是namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。联邦HDFS允许每个namenode管理文件系统命名空间的一部分。每个namenode维护一个命名空间,不同namenode之间的命名空间相互独立。数据块池不再切分,所以每个DataNode需要注册到每个n
2021-07-10 16:32:11
316
原创 检查点机制,Fsimage与Editlog的合并过程理解
fsimage文件:即命名空间映像文件,是内存中的元数据在硬盘上的checkpoint,包含文件系统中的所有目录和文件inode的序列化信息。editlog:文件系统的写操作首先把它记录在editlog中。检查点机制:定时将fsimage和editlog合并并产生新的fsimage的过程,这一过程非常耗费cpu和IO,一般放在Secondary Namenode(非HA)和Standby Namenode(HA)中完成。(一)secondary namenode执行检查点操作(非HA):sec
2021-07-10 16:04:52
724
2
原创 HDFS客户端进行文件的读取与写入操作过程
HDFS客户端读流程:1.初始化FileSystem,然后客户端用DistributedFileSystem的open方法打开文件。2.FileSystem用RPC调用元数据节点,采用getBlockLocations()得到文件的数据块信息,对于每一个数据块,元数据节点返回保存数据块的数据节点的地址。3.FileSystem返回HdfsDataInputStream给客户端,用来读取数据,HdfsDataInputStream是DFSInputStream的装饰类,真正进行数据块读取的是DFSIn
2021-07-10 14:57:02
1588
原创 剑指 Offer 19. 正则表达式匹配 Java版
请实现一个函数用来匹配包含'.'和'*'的正则表达式。模式中的字符'.'表示任意一个字符,而'*'表示它前面的字符可以出现任意次(含0次)。在本题中,匹配是指字符串的所有字符匹配整个模式。例如,字符串"aaa"与模式"a.a"和"ab*ac*a"匹配,但与"aa.a"和"ab*a"均不匹配。示例 1:输入:s = “aa”p = “a”输出: false解释: “a” 无法匹配 “aa” 整个字符串。示例 2:输入:s = “aa”p = “a*”输出: true解释: 因为
2021-07-03 14:31:13
147
原创 c++和java的区别?
c++有指针,java不提供指针直接访问内存,程序的内存更加安全。C++是编译型语言,Java是半解释半编译型语言,所以C++执行速度比Java快,但是Java可以利用JVM实现跨平台。c++支持多重继承,Java中类都是单继承的。但是Java中接口是多继承的,允许一个类继承多个接口。(extends+implement),实现了c++多重继承的功能,类对接口的实现也是多实现。C++需要自己管理内存,Java中JVM有自己的GC机制(垃圾回收机制),用来监视new出来的所有对象,辨别不会再被引用的对象
2021-07-02 10:18:13
491
原创 报错:‘mvn‘ 不是内部或外部命令,也不是可运行的程序或批处理文件。
解决方法:添加了一个系统变量MAVEN_HOME,其变量值就是你apache-maven-3.5.2所存在的绝对路径,在系统变量Path的变量值末尾添加“;%MAVEN_HOME%\bin”的路径。这两个变量的路径都用浏览添加,直接添加可能无法解决。...
2021-06-14 15:58:03
911
原创 StringBuffer和StringBuilder的区别
StringBuffer:可变的同步的线程安全,适合多线程性能更差StringBuilder:可变的不同步的线程不安全,适合单线程性能更好当线程不需要同步时用StringBuilder代替StringBuffer。StringBuffer 方法是同步的,而 StringBuilder 不是。 两者操作“几乎”相同,但在单个线程中无需同步,使用StringBuilder更合适。引用自StringBuffer javadoc:A thread-safe, mutable se
2021-06-14 12:04:41
72
原创 Centos7安装FASTDFS整合宝塔Nginx,配合nginx-fastdfs插件,实现文件上传
安装fastdfs需要的环境首先安装gccyum -y install gcc-c++然后安装libevent库yum -y install libvent安装libfastcommonlibfastcommon是FastDFS官方提供的,libfastcommon包含了FastDFS运行所需要的一些基础库。先解压安装包tar -zxvf libfastcommonV1.0.7.tar.gz进入文件夹cd libfastcommon-1.0.7运行./make.sh./ma
2021-05-31 21:51:25
1006
2
原创 FASTDFS启动storage服务卡死,没反应,日志报错连接超时解决方法
FASTDFS启动tracker时没问题,安装storage服务时一直没反应,打开日志,错误信息如下:ERROR - file: storage_ip_changed_dealer.c, line: 180, connect to tracker server 121.40.177.15:22122 fail, errno: 110, error info: Connection timed out解决方法:关闭防火墙即可,cento7代码如下service firewalld stopps:连
2021-05-31 16:14:12
2564
3
原创 junit测试时报No runnable methods错误
导包错误import org.junit.jupiter.api.Test;报错:修改为:import org.junit.Test;即可正常运行。
2021-05-30 11:23:53
152
原创 报错This application has no explicit mapping for /error
完整错误:Whitelabel Error PageThis application has no explicit mapping for /error, so you are seeing this as a fallback.Sat May 29 20:07:50 CST 2021There was an unexpected error (type=Not Found, status=404).运行时出现了这个错误,认真检查后发现路径填错了。@RequestMapping(“xxx”) ,
2021-05-29 20:14:44
233
原创 Dubbo监控中心状态404,解决方法
安装zookeeper和dubbo后发现,登录dubbo监控中心404。1 在dubbo的logs目录中查看日志tail -f stdout.log 结果报错java.lang.IllegalStateException: Failed to start jetty server on 172.22.215.120:8080, cause: Address already in use查看占用端口的进程netstat -apn | grep 8080结果为tcp 0
2021-05-23 18:44:53
630
原创 unet神经网络报错`Model.predict_generator` is deprecated and will be removed in a future version
解决方法:results = model.predict_generator(testGene,30,verbose=1)改为results = model.predict(testGene,30,verbose=1)
2021-05-16 21:26:04
2355
DualMonitor win7系统双屏显示工具
2020-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人