- 博客(1675)
- 收藏
- 关注
原创 Linux: Wsl ubuntu下安装OhMyZsh
人神都知道OhMyZsh的魔力,那就上吧。环境:WSL2, unbuntu 18.04一、安装ZSH(1) 安装sudo apt-get install -y zsh(2)验证:zsh --version(3)设定默认选项chsh -s /usr/bin/zsh二、安装oh-my-zsh1、下载git clone https://gitee.com/mirrors/oh-my-zsh.gitsongroom@DESKTOP-MEDPUTU:~$ git clone http
2022-04-10 10:30:57 1266
转载 Julia: 通过简单实践理解机器学习概念(flux.jl)
通过简单实践理解机器学习概念(flux.jl)jake484于 2021-09-17 10:48:37 发布 104文章标签: 神经网络 机器学习版权Flux.jl简介Flux是什么Flux 是一个纯 Julia ML 堆栈,可让通过机器学习相关算法构建预测模型。怎样构建提供训练和测试数据构建具有可配置参数的模型以进行预测通过调整参数来迭代训练模型以改进预测验证模型实例假设一个预测目标: y = x + 1 y = x + 1 y=x+1using Fluxf(x) = x
2022-04-06 20:10:39 475 1
转载 Julia: 使用Flux实现手写数字识别
使用Flux+Julia实现手写数字识别安大叔深度学习民工。职业调参侠。使用MNIST数据集对0到9之间的数字进行手写数字识别是神经网络的一个典型入门教程。该技术在现实场景中是很有用的,比如可以把该技术用来扫描银行转帐单或支票,其中帐号和需要转账的金额可以被识别处理并写在明确定义的方框中。在本教程中,我们将介绍如何使用Julia编程语言和名为Flux的机器学习库来实现这一技术。为什么使用Flux和Julia?本教程为什么想使用Flux(https://fluxml.ai/) 和Julia(ht
2022-04-06 19:46:04 943
转载 彭华盛:运维不简单
运维不简单!彭华盛 twt企业IT社区 2022-04-05 07:45图片【摘要】本文是对运维整体的概览,讲述作者对运维的认识,以及对一些转型理念的思考,颇有深度,值得一读。【作者】彭华盛,腾讯TVP,10年+的金融领域运维工作,期间负责参与运维组织、流程、工具建设,包括重大业务系统与数据中心工程性项目实施,标准化工作流程构建,平台工具体系的规划与研发、数字化转型研究与实施相关等,对金融领域的运维有较全面理解,更多信息见个人公众号“运维之路”。与一个行业大牛的朋友交流时,在听到他年轻时在思科
2022-04-06 09:27:35 627
原创 julia: 1.10前后版本在ubuntu下安装
songroom@DESKTOP-MEDPUTU:~$ wget https://julialang-s3.julialang.org/bin/linux/x64/1.7/julia-1.7.2-linux-x86_64.tar.gzsongroom@DESKTOP-MEDPUTU:~$ tar -xvzf julia-1.7.2-linux-x86_64.tar.gzsongroom@DESKTOP-MEDPUTU:~$ ls] apt-get beta ctp echo fosun
2022-04-04 22:27:34 1222
原创 Github copilot: AI协助编程尝试
github copilot 其实去年6-7月份就出来了,今天也想尝试一下效果,据说python、rust效果不错,想也顺便 看看 julia如何。1、首先在VSCODE中安装插件 github copilot2、官网注册https://copilot.github.com/ 为其官网地址,目前使用github copilot需要官方的注册。当然,需要有github的账户。3、等待github copilot的反馈。...
2022-04-03 20:45:36 895
原创 Julia: PkgServerClient库
因为有墙的原因,在安排julia库时,往往从镜像站点拉取安装速度更为。也就是手动设置JULIA_PKG_SERVER。比如从export JULIA_PKG_SERVER="https://pkg.julialang.org"切换到:JULIA_PKG_SERVER = https://mirrors.bfsu.edu.cn/julia/static或:JULIA_PKG_SERVER = https://mirrors.sjtug.sjtu.edu.cn/julia等等那这个库就可
2022-04-02 19:42:00 471
原创 SSH: scp 拉取云端文件到本地端
首先,要知道IP和端口1、IP: ifconfigsongroom@DESKTOP-MEDPUTU:~/ctp/ctp_test$ ifconfigeth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 172.18.17.13 netmask 255.255.240.0 broadcast 172.18.31.255 inet6 fe80::215:5dff:fed7:c9ff
2022-03-19 21:33:03 1509
原创 vscode :常用快捷操作
1、 按住alt,用鼠标左键点击,可以出现多个光标,输入的代码可以在光标处同时增加2、按住Ctrl + Alt,再按键盘上向上或者向下的键,可以使一列上出现多个光标。3、选中一段文字,按shift+alt+i,可以在每行末尾出现光标4、光标放在一个地方,按ctrl+shift+L或者ctrl+f2,可以在页面中出现这个词的不同地方都出现光标。有时候这个快捷键的作用和f2重命名变量类似,但是它更加广泛,因为还可以对比如字符串相同的非同一变量或函数类的东西修改。5、按shift+alt,再使用鼠标拖动,
2022-03-12 20:23:07 1665
原创 clickhouse: A股bar数据与物化视图尝试
一、设计听说projection 可以加快clickhouse的查询速度,重新设计表格: create_sql = f"""CREATE TABLE if not exists {db_name}.{table_name} ( code UInt64, date Date, datetime DateTime,
2022-03-05 19:48:45 400
原创 rust: clickhouse异步库
在github上有,一个异步连接clickhouse的库,值得一看。具体用法:extern crate tokio;use std::{env, error::Error};use clickhouse_rs::{row, types::Block, Pool};use futures_util::StreamExt;async fn execute(database_url: String) -> Result<(), Box<dyn Error>> {
2022-02-25 17:45:14 964
原创 linux:云端 ubuntu下挂载数据盘
云端给客户的系统盘一般不大,20-100G不等,往往会加数据盘。这时,需要用户自己做数据盘的挂载。一、为什么要挂载Linux 系统中“一切皆文件”,所有文件都放置在以根目录为树根的树形目录结构中。在 Linux 看来,任何硬件设备也都是文件,它们各有自己的一套文件系统(文件目录结构)。因此产生的问题是,当在 Linux 系统中使用这些硬件设备时,只有将Linux本身的文件目录与硬件设备的文件目录合二为一,硬件设备才能为我们所用。合二为一的过程称为“挂载”。当云端给了一个数据盘后,在系统/dev下,
2022-02-24 16:40:28 707
原创 ubuntu:磁盘清理
先看一下各磁盘空间占用情况root@iZ9ni05fy7agndgpndc7gsZ:/# df -lhFilesystem Size Used Avail Use% Mounted onudev 7.9G 0 7.9G 0% /devtmpfs 1.6G 3.5M 1.6G 1% /run/dev/vda1 99G 93G 837M 100% /tmpfs 7.9G 4.0K
2022-02-24 10:04:28 1192
原创 Clickhouse:分区和数值化优化实测
在前期CK尝试中,对bar分钟线的数据并没有分区和字符串数据的处理。本次拟在这两个方面进行优化。优化1: 关于分区。按每个股的数据进行分区,目前分区的粒度偏细,这样宏观上有22亿条数据,会分出的区就会近4000块。优化2:数值化。把个股的代码转化成int类型,减少字符串的比较操作。一、优化尝试1、代码from clickhouse_driver import Clientimport pandas as pdimport osfrom datetime import datetime, d
2022-02-19 19:49:25 1756
转载 详解Python中pyautogui库的最全使用方法
详解Python中pyautogui库的最全使用方法在使用Python做脚本的话,有两个库可以使用,一个为PyUserInput库,另一个为pyautogui库。就本人而言,我更喜欢使用pyautogui库,该库功能多,使用便利。下面给大家介绍一下pyautogui库的使用方法。在cmd命令框中输入pip3 install pyautogui即可安装该库!常用操作我们在pyautogui库中常常使用的方法,如下:import pyautogui pyautogui.PAUSE = 1 # 调用在
2022-02-19 14:03:58 38086 3
转载 Python+Wind:用 Pyautogui 轻松下载 Wind 数据
Python+Wind:用 Pyautogui 轻松下载 Wind 数据作者: 张翠燕(山东大学)邮箱: [email protected]目录1. 问题背景2. 准备工作3. 简单介绍 3.1 Wind 数据库中诸如控股或参股公司该类指标在哪? 3.2 本文示例中用到的 pyautogui 包中相关函数的详细介绍 3.3 获取上市公司股票代码列表4. 代码实现过程相关课程 课程一览连享会 - Python 专题连享会 - 文本分析专题问题背
2022-02-19 13:27:20 3710 1
转载 clickhouse性能优化实践
ClickHouse Better Practices2020.05.31 22:51:26字数 2,453阅读 4,989前言经过一个月的调研和快速试错,我们的ClickHouse集群已经正式投入生产环境,在此过程中总结出了部分有用的经验,现记录如下。看官可去粗取精,按照自己项目中的实际情况采纳之。(版本为19.16.14.65)因为我们引入ClickHouse的时间并不算长,还有很多要探索的,因此不敢妄称“最佳实践”,还是叫做“更佳实践”比较好吧。表相关事项数据类型建表时能用数值型或日期
2022-02-19 11:26:02 1588
原创 TDengine:A股分钟线数据的尝试
一、TDengine的下载、安装1、从官网上下载即可。2、上传到指定端我是从WSL上传到工作端,云服务器上。songroom@staff-NB-146:/mnt/d$ scp -r -P 19622 TDengine-server-2.4.0.7-Linux-x64.tar.gz [email protected]:~/[email protected]'s password: TDengine-server-2.4.0.7-Linux-x64.tar.gz
2022-02-16 10:13:44 1647
原创 ClickHouse:A股分钟数据的查询速度的测试[下]
但在小样本数据的查询上,比如对于某个标的,需要查5-10万量级的数据,这个优势不太明显。1、my_db.stock_tb: 是一个22亿行,大约15列的大表且是单一表,压缩后的空间在50G,压缩率约30倍;目前看,总体还算凑合,当然其主要优势在于跨品种查询上优势还是比较明显;但单一品种的查询优势不太明显。此表存了2010年以来的所有A股的1分钟线数据。相当于查询近一年的全A股市 的数据花的时间。2、我在家用电脑中WSL2下进行的单机方式测试,内存32G。(2)、标的和日期的多条件查询。
2022-02-15 21:20:43 993
原创 Clickhouse: A股分时线bar数据python实验-批量导入[上]
from clickhouse_driver import Clientimport pandas as pdimport os;from datetime import datetime, dateimport timeimport mathdef get_all_files_by_root_sub_dirs(directory, file_type): data = list() if os.path.isdir(directory): # 是目录 dir_lis
2022-02-13 21:58:56 1478
转载 十年期货股票行情数据轻松处理——TDengine在同心源基金的应用
十年期货股票行情数据轻松处理——TDengine在同心源基金的应用同心源(三亚)基金 刘健 Dec 08, 2021 / 分类 Chinese、 用户案例、 置顶推荐小 T 导读:同心源(三亚)基金管理有限公司是一家致力于采取科学方法,在二级市场进行投资的私募公司。公司的团队成员均来自于国内外优秀大学,创始人具有计算机博士学位,有多年的算法研究、软件系统开发的经验。从我司的业务模式出发,业务人员主要通过数据挖掘和自动模式识别这两种方式来发现市场的交易规律。因此,我们的工作场景是基于大量的金融数据之上
2022-02-13 16:48:14 214
转载 ClickHouse:存储A股数据实践
ClickHouse存储A股数据实践Quant最爱用Python的交易员等作者:量化投资与机器学习公众号独家撰写量化回测,苦于MySQL久矣,特别是进行股票日内因子构建分析或全市场因子测试的时候,每当按下回车时,MySQL就跟丢了魂一样,查询费时,大吞吐量读取也非常耗时。虽然MySQL的优化技巧足够写一本书,但这些都需要交给专业的DB工程师去做,量化打工人没有能力更没有时间倒腾这些。那有没有省时省力,高效存储股票行情数据的解决办法呢。带着这个问题,编辑部简单的搜索了一下,总体分为几个方案:1
2022-02-12 21:02:51 1419
原创 python: ubuntu下把py2.7改成py3
root@iZ9ni05fy7agndgpndc7gsZ:/usr/bin# ls py*py3clean py3versions pyclean pydoc pydoc3 pygettext pygettext3 python python2.7 python2-config python3.5 python3m pyversionspy3compile pybuild pycompile pydoc2.7
2022-02-12 15:15:47 987
原创 clickhouse: WSL下常见问题、常见用法和A股数据实践
clickhouse安装可以看相关的文档,这个照着做就行。但容易碰到的几个问题:1、登陆出现516问题如果是进入默认用户,碰到以下的类似516问题root@iZ9ni05fy7agndgpndc7gsZ:~# clickhouse-client ClickHouse exception, code: 516, host: 192.168.0.108, port: 8888; Code: 516, e.displayText() = DB::Exception: default: Authent
2022-02-11 13:22:14 1968
转载 【交易技术前沿】浅析基金业推进数据治理的阻碍及应对建议
【交易技术前沿】浅析基金业推进数据治理的阻碍及应对建议上交所技术服务 2022-02-08 15:30选自《交易技术前沿》第46期 数字化转型专刊浅析基金业推进数据治理的阻碍及应对建议马振民、朱于/ 汇添富基金管理股份有限公司汪皓然、殷昊南、张帆/ 上海艾芒信息科技有限公司邮箱:[email protected]一、引言证券基金行业2019年6月1日起正式实施《证券基金经营机构信息技术管理办法》,其中第四章第二节整章节对数据治理提出了监管要求,要求各经营机构结合公司发展战略,建立全面、科
2022-02-08 15:46:42 448
原创 SSH:和云管理相关主要操作
SSH:和云管理相关主要操作1、登陆假定以下的端口和ip:songroom@staff-NB-146:~$ ssh -p 2345 [email protected]、修改密码登录ssh后, 通过命令:passwd {用户名}做修改即可.root@iZ9ni05fy7agndgpndc7gsZ:~# passwd3、修改相关的端口/usr/sbin/sshd -p 1433...
2022-02-08 14:27:43 425
原创 rust :字节跳动镜像设置
[source.crates-io]registry = “https://rsproxy.cn”具体在.cargo下config文件中:
2022-02-04 20:57:37 1312
转载 rust: error: linking with `cc` failed: exit code: 1
linux:cargo rustc -- -C link-arg=-nostartfileswindows:cargo rustc -- -C link-arg=-nostartfiles
2022-02-04 17:25:58 1748
转载 Dimensional 将 290 亿美元的共同基金转换为 ETF
Dimensional 将 290 亿美元的共同基金转换为 ETFETF股票 2021年06月24日 10:38分享到:点赞 0评论 0收藏Dimensional Fund Advisors刚刚成为 6.5 万亿美元交易所交易基金领域最大的参与者之一。在资金管理行业的一个里程碑时刻,由大卫布斯 (David Booth) 创立的价值 6,370 亿美元的量化先驱已将四家拥有 288 亿美元资产的股票共同基金转换为 ETF。一下子,它使 Dimensional 成为按资产计算的 10 大美国
2022-02-02 13:55:07 225
原创 美国:DFA(Dimensional fund advisors LP)基金介绍
Dimensional fund advisors LP:创立于1981,专注于共同基金,该公司擅长挖掘市场数据,并根据对市场数据的详细分析,建立系统的,非主观的投资组合和策略。最具有学院范的管理人。规模:3718亿排名第8投教DFA和vanguard是唯一两家在过去25年里每年都获得资金 净流入的公司。不是主动投资,也不是被动投资因子投资专业的研究长期DFA和投顾公司合作,没有渠道。...
2022-02-02 13:52:52 2137
转载 CTP开放平台(Powered by TTS - Tick Trading System)
CTP开放平台(Powered by TTS - Tick Trading System)krenxkrenx关注我带你了解交易系统开发技术可能涉及财产风险用Python的交易员等CTP开放平台采用与CTPAPI完全兼容的接口,一定程度上可替代simnow等模拟平台进行功能测试。 CTP程序无需修改代码也无需重新编译,只需在这里下载与CTP API版本号一致的交易dll,覆盖掉自己的即可,行情dll不用改,行情的接入地址可使用各期货公司的实盘地址。目前已提供CTPAPI全部在用的四个版本AP
2022-01-29 11:48:15 1244
转载 人力资源SaaS“一哥”,二十年艰难进化
人力资源SaaS“一哥”,二十年艰难进化巨潮商业评论文 | 荆玉1月10日,中国最大的云端人力资源管理(HCM)解决方案提供商——北森控股有限公司(下称北森)正式向港交所递交招股说明书,冲击中国HR SaaS第一股。北森的上市具备标杆性意义。一位专注to B领域的投资人告诉巨潮,北森是国内首个(冲击主板)上市的通用管理型原生SaaS公司,业内都非常期待其上市后的表现。此外,北森作为国内SaaS行业的老牌公司,堪称精神旗帜,为行业“输送”了很多人才。作为标杆,成立至今20年,融资8轮才冲刺主板上市
2022-01-28 16:27:09 102
原创 python生成公共包(SDK)
python生成公共包(SDK)https://www.jianshu.com/p/ea9973091fdfhttps://zhuanlan.zhihu.com/p/162842824
2022-01-25 14:47:20 880
转载 拒绝外部投资、融资及收购,Epic是如何成为美国电子病历“一姐”的?
拒绝外部投资、融资及收购,Epic是如何成为美国电子病历“一姐”的?原创 李成平 动脉网 2022-01-23 08:00图片在过完78岁生日后,她成为了全美医疗领域里最富有的一位女性。2021年9月1日,福布斯公布了“2021 年美国白手起家100位最富有的女性名单”。其中,美国最大的电子病历公司Epic Systems的首席执行官兼创始人朱迪思福克纳,以65 亿美元的净资产位居医疗保健行业榜首。朱迪思福克纳非常低调,鲜少接受媒体的访谈。但从寥寥的媒体访谈中,我们依然能够看出,朱迪思福克纳是一个
2022-01-25 14:42:48 149
转载 锻造恒生O45:致广大而尽精微
锻造恒生O45:致广大而尽精微原创 小倩 恒生电子股份有限公司 2022-01-25 10:30对于O45,并非没有质疑的声音。这种质疑同时来源于外界,也来自于内部。外界的担忧在于目前依旧支撑着资管领域百亿级资产管理规模的O32,如何升级切换到O45的路径尚不清晰。更多金融机构在观望,观望行业里谁可以率先检验这套新一代系统。而内部则更多的是对于资源紧张的担忧,基础架构要升级,近十个子系统要开发,涉及百万行级别的代码重构,到客户现场还需要经过充分的业务打磨和系统验证。在2021年这样一个时间点,
2022-01-25 14:09:06 1282
原创 Python:同花顺全数据接口
# -*- coding: utf-8 -*-from iFinDPy import *from datetime import datetimeimport pandas as pdimport time as _timeimport jsonfrom threading import Thread,Lock,Semaphoreimport requestssem = Semaphore(5) # 此变量用于控制最大并发数dllock = Lock() #此变量用来控制实时行情推
2022-01-24 20:27:52 25627 6
转载 走进爆发中的AIOps
走进爆发中的AIOps原创 李瑜 恒生LIGHT 2022-01-19 13:33近几年我国证券市场不断演进,券商内部业务发展迅猛,与此同时中后台运营中业务操作也越来越复杂。新业务的开展不可避免地会引入新系统、新技术,大量重复性高、低价值的人工操作需求出现了,随之而来的是愈加频繁的人机交互流程。现阶段金融机构IT部门业务运维的工作特点是业务操作规范、业务系统多、重复性事务多、时效性要求高,如数据库DBA需要快速定位并解决问题,降低对业务系统的影响。智能运维平台主要把企业日常工作中耗时、枯燥的任务交给
2022-01-20 11:12:12 293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人