- 博客(1687)
- 收藏
- 关注
RSS订阅原创 python :解决import库与绝对路径与相对路径的一种方法
设计 了一个足够复杂的文件情况（如上和如下），其中，a.py和aa.py之类函数模块，test_a.py和test_aa.py分别为引用的模块。这样看看，他们之间是如何引用的，有什么规律。我们在同级的test_a.py、test_aa.py,test_aaa.py等中，调用不用的a.py,aa.py,aaa.py,bb.py,bbb.py。
2022-09-12 14:05:27
1820
1
原创 python: float64与float32转换、压缩比较与转换偏差
1、互转的类型中，DataFrame和np.array是比较方便互转的。3、压缩时间也差了一倍（近似）；
2022-09-08 14:12:56
8406
原创 Python:jwt和zlib库import与pip名不同
在python3中，有一些import 与pip不同名的库，如果想当然，你会发现老装不上。
2022-09-05 11:33:53
582
原创 Python：__call__和__getattr__组合黑魔法
具体代码中，的确有class JQDataClient的定义，但没也没有看到里面有get_price呀。如果不细看，你感觉很正常呀。在github上jqdatasdk库中，有一段这样的代码，让人感觉到很神奇。通常我们能单用一个，就已经不常见了，更不用说，把这两个组合起来用了。二、细说一下__call__和__getattr__组合黑魔法。难道，对象可以调用任意的函数？不会吧，还有这么随便的。下面，做一下简单的POC测试，来验证一下。其实，准确的说，还有一个query（）。在api.py文件中。
2022-09-02 09:10:11
428
原创 Thrift : Python RPC的实践，从网络到IDL类型
thriftpy2是对thriftpy的一个封装，不需要gen-py这一步，代码更加简洁。Thrift协议的学习资料最好去github上 找专门的库，看examples就可以了。远程调用的数据传输效率比较HTTP WEB API 要高，所以实践一下RPC的方案。4、需要在client和server端生成gen-py文件夹。5、各启动server.py和client.py，即可了。相关的库：thriftpy或 thriftpy2。1、tf_service.thrift文件。一、thriftpy库。......
2022-08-21 17:04:08
1810
原创 SSH：阿里云重装操作系统后连不上的问题
在把操作系统由ubuntu 18版本升到20版本后，发现vscode 的remote ssh死活连不上了。需要删除本地的.ssh文件下的known_hosts文件。一般在：C:\Users\myuser.ssh。假定myuser为我的用户名。不注意的话，小问题影响效率。...
2022-08-17 11:03:40
565
原创 Julia: 决策树与随机森林连续值的处理
在周志华《机器学习》西瓜书，有关于决策树的连续值的处理的描述，并用西瓜的密度和含糖量这两个连续属性来举例。
2022-05-03 21:51:57
1775
2
原创 换源解决pip超时问题： pip._vendor.urllib3.exceptions.SSLError
操作：(tensorflow_venv) songroom@DESKTOP-MEDPUTU:~$ pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ --upgrade tensorflow问题：pip._vendor.urllib3.exceptions.SSLError详见：(tensorflow_venv) songroom@DESKTOP-MEDPUTU:~$ pip install -i https://pypi.tuna
2022-05-03 07:26:21
3548
原创 Julia: LaTeX 符号
Julia是重度 LaTex符号的偏好的语言。所以，有必要收藏一下LaTex符号表。julia> for i ∈ 1:5 # /in if i ∉ 2:3 # /notin println(i) end end145julia> k = 4π # π : \pi12.566370614359172julia> num =rand()julia> if num ≤ 0.5 println(num) end # ≤ : \lequsin
2022-04-17 15:49:10
1275
1
原创 Julia： Flux.jl尝试
这个例子仍是 文档中的例子。原来文档有些坑。using Fluxusing Flux: train!,Descent,Denseactual(x) = 4x + 2x_train, x_test = hcat(0:5...), hcat(6:10...)y_train, y_test = actual.(x_train), actual.(x_test)predict = Dense(1, 1) # 坑：Dense(1=>1) 已经不能用loss(x, y) = Flux.Losse
2022-04-16 11:12:49
905
原创 Linux: Wsl ubuntu下安装OhMyZsh
人神都知道OhMyZsh的魔力，那就上吧。环境：WSL2, unbuntu 18.04一、安装ZSH(1) 安装sudo apt-get install -y zsh（2）验证：zsh --version（3）设定默认选项chsh -s /usr/bin/zsh二、安装oh-my-zsh1、下载git clone https://gitee.com/mirrors/oh-my-zsh.gitsongroom@DESKTOP-MEDPUTU:~$ git clone http
2022-04-10 10:30:57
1396
转载 Julia: 通过简单实践理解机器学习概念（flux.jl）
通过简单实践理解机器学习概念（flux.jl）jake484于 2021-09-17 10:48:37 发布 104文章标签： 神经网络 机器学习版权Flux.jl简介Flux是什么Flux 是一个纯 Julia ML 堆栈，可让通过机器学习相关算法构建预测模型。怎样构建提供训练和测试数据构建具有可配置参数的模型以进行预测通过调整参数来迭代训练模型以改进预测验证模型实例假设一个预测目标： y = x + 1 y = x + 1 y=x+1using Fluxf(x) = x
2022-04-06 20:10:39
572
1
转载 Julia: 使用Flux实现手写数字识别
使用Flux+Julia实现手写数字识别安大叔深度学习民工。职业调参侠。使用MNIST数据集对0到9之间的数字进行手写数字识别是神经网络的一个典型入门教程。该技术在现实场景中是很有用的，比如可以把该技术用来扫描银行转帐单或支票，其中帐号和需要转账的金额可以被识别处理并写在明确定义的方框中。在本教程中，我们将介绍如何使用Julia编程语言和名为Flux的机器学习库来实现这一技术。为什么使用Flux和Julia?本教程为什么想使用Flux（https://fluxml.ai/） 和Julia（ht
2022-04-06 19:46:04
1043
转载 彭华盛：运维不简单
运维不简单！彭华盛 twt企业IT社区 2022-04-05 07:45图片【摘要】本文是对运维整体的概览，讲述作者对运维的认识，以及对一些转型理念的思考，颇有深度，值得一读。【作者】彭华盛，腾讯TVP，10年+的金融领域运维工作，期间负责参与运维组织、流程、工具建设，包括重大业务系统与数据中心工程性项目实施，标准化工作流程构建，平台工具体系的规划与研发、数字化转型研究与实施相关等，对金融领域的运维有较全面理解，更多信息见个人公众号“运维之路”。与一个行业大牛的朋友交流时，在听到他年轻时在思科
2022-04-06 09:27:35
722
原创 julia: 1.10前后版本在ubuntu下安装
songroom@DESKTOP-MEDPUTU:~$ wget https://julialang-s3.julialang.org/bin/linux/x64/1.7/julia-1.7.2-linux-x86_64.tar.gzsongroom@DESKTOP-MEDPUTU:~$ tar -xvzf julia-1.7.2-linux-x86_64.tar.gzsongroom@DESKTOP-MEDPUTU:~$ ls] apt-get beta ctp echo fosun
2022-04-04 22:27:34
1384
原创 Github copilot: AI协助编程尝试
github copilot 其实去年6-7月份就出来了，今天也想尝试一下效果，据说python、rust效果不错，想也顺便 看看 julia如何。1、首先在VSCODE中安装插件 github copilot2、官网注册https://copilot.github.com/ 为其官网地址，目前使用github copilot需要官方的注册。当然，需要有github的账户。3、等待github copilot的反馈。...
2022-04-03 20:45:36
940
原创 Julia: PkgServerClient库
因为有墙的原因，在安排julia库时，往往从镜像站点拉取安装速度更为。也就是手动设置JULIA_PKG_SERVER。比如从export JULIA_PKG_SERVER="https://pkg.julialang.org"切换到：JULIA_PKG_SERVER = https://mirrors.bfsu.edu.cn/julia/static或：JULIA_PKG_SERVER = https://mirrors.sjtug.sjtu.edu.cn/julia等等那这个库就可
2022-04-02 19:42:00
524
原创 SSH: scp 拉取云端文件到本地端
首先，要知道IP和端口1、IP: ifconfigsongroom@DESKTOP-MEDPUTU:~/ctp/ctp_test$ ifconfigeth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 172.18.17.13 netmask 255.255.240.0 broadcast 172.18.31.255 inet6 fe80::215:5dff:fed7:c9ff
2022-03-19 21:33:03
1581
原创 vscode :常用快捷操作
1、 按住alt，用鼠标左键点击，可以出现多个光标，输入的代码可以在光标处同时增加2、按住Ctrl + Alt，再按键盘上向上或者向下的键，可以使一列上出现多个光标。3、选中一段文字，按shift+alt+i，可以在每行末尾出现光标4、光标放在一个地方，按ctrl+shift+L或者ctrl+f2，可以在页面中出现这个词的不同地方都出现光标。有时候这个快捷键的作用和f2重命名变量类似，但是它更加广泛，因为还可以对比如字符串相同的非同一变量或函数类的东西修改。5、按shift+alt，再使用鼠标拖动，
2022-03-12 20:23:07
1828
原创 clickhouse: A股bar数据与物化视图尝试
一、设计听说projection 可以加快clickhouse的查询速度，重新设计表格： create_sql = f"""CREATE TABLE if not exists {db_name}.{table_name} ( code UInt64, date Date, datetime DateTime,
2022-03-05 19:48:45
449
原创 rust: clickhouse异步库
在github上有，一个异步连接clickhouse的库，值得一看。具体用法：extern crate tokio;use std::{env, error::Error};use clickhouse_rs::{row, types::Block, Pool};use futures_util::StreamExt;async fn execute(database_url: String) -> Result<(), Box<dyn Error>> {
2022-02-25 17:45:14
1039
原创 linux:云端 ubuntu下挂载数据盘
云端给客户的系统盘一般不大，20-100G不等，往往会加数据盘。这时，需要用户自己做数据盘的挂载。一、为什么要挂载Linux 系统中“一切皆文件”，所有文件都放置在以根目录为树根的树形目录结构中。在 Linux 看来，任何硬件设备也都是文件，它们各有自己的一套文件系统（文件目录结构）。因此产生的问题是，当在 Linux 系统中使用这些硬件设备时，只有将Linux本身的文件目录与硬件设备的文件目录合二为一，硬件设备才能为我们所用。合二为一的过程称为“挂载”。当云端给了一个数据盘后，在系统/dev下，
2022-02-24 16:40:28
763
原创 ubuntu:磁盘清理
先看一下各磁盘空间占用情况root@iZ9ni05fy7agndgpndc7gsZ:/# df -lhFilesystem Size Used Avail Use% Mounted onudev 7.9G 0 7.9G 0% /devtmpfs 1.6G 3.5M 1.6G 1% /run/dev/vda1 99G 93G 837M 100% /tmpfs 7.9G 4.0K
2022-02-24 10:04:28
1226
原创 Clickhouse:分区和数值化优化实测
在前期CK尝试中，对bar分钟线的数据并没有分区和字符串数据的处理。本次拟在这两个方面进行优化。优化1： 关于分区。按每个股的数据进行分区，目前分区的粒度偏细，这样宏观上有22亿条数据，会分出的区就会近4000块。优化2：数值化。把个股的代码转化成int类型，减少字符串的比较操作。一、优化尝试1、代码from clickhouse_driver import Clientimport pandas as pdimport osfrom datetime import datetime, d
2022-02-19 19:49:25
2113
转载 详解Python中pyautogui库的最全使用方法
详解Python中pyautogui库的最全使用方法在使用Python做脚本的话，有两个库可以使用，一个为PyUserInput库，另一个为pyautogui库。就本人而言，我更喜欢使用pyautogui库，该库功能多，使用便利。下面给大家介绍一下pyautogui库的使用方法。在cmd命令框中输入pip3 install pyautogui即可安装该库！常用操作我们在pyautogui库中常常使用的方法，如下：import pyautogui pyautogui.PAUSE = 1 # 调用在
2022-02-19 14:03:58
38741
3
转载 Python+Wind：用 Pyautogui 轻松下载 Wind 数据
Python+Wind：用 Pyautogui 轻松下载 Wind 数据作者： 张翠燕（山东大学）邮箱： zcy1992yan@163.com目录1. 问题背景2. 准备工作3. 简单介绍 3.1 Wind 数据库中诸如控股或参股公司该类指标在哪？ 3.2 本文示例中用到的 pyautogui 包中相关函数的详细介绍 3.3 获取上市公司股票代码列表4. 代码实现过程相关课程 课程一览连享会 - Python 专题连享会 - 文本分析专题问题背
2022-02-19 13:27:20
4121
1
转载 clickhouse性能优化实践
ClickHouse Better Practices2020.05.31 22:51:26字数 2,453阅读 4,989前言经过一个月的调研和快速试错，我们的ClickHouse集群已经正式投入生产环境，在此过程中总结出了部分有用的经验，现记录如下。看官可去粗取精，按照自己项目中的实际情况采纳之。（版本为19.16.14.65）因为我们引入ClickHouse的时间并不算长，还有很多要探索的，因此不敢妄称“最佳实践”，还是叫做“更佳实践”比较好吧。表相关事项数据类型建表时能用数值型或日期
2022-02-19 11:26:02
1804
原创 TDengine:A股分钟线数据的尝试
一、TDengine的下载、安装1、从官网上下载即可。2、上传到指定端我是从WSL上传到工作端，云服务器上。songroom@staff-NB-146:/mnt/d$ scp -r -P 19622 TDengine-server-2.4.0.7-Linux-x64.tar.gz click@103.10.3.83:~/taosclick@103.10.3.83's password: TDengine-server-2.4.0.7-Linux-x64.tar.gz
2022-02-16 10:13:44
1770
原创 ClickHouse：A股分钟数据的查询速度的测试[下]
但在小样本数据的查询上，比如对于某个标的，需要查5-10万量级的数据，这个优势不太明显。1、my_db.stock_tb: 是一个22亿行，大约15列的大表且是单一表，压缩后的空间在50G,压缩率约30倍；目前看，总体还算凑合，当然其主要优势在于跨品种查询上优势还是比较明显；但单一品种的查询优势不太明显。此表存了2010年以来的所有A股的1分钟线数据。相当于查询近一年的全A股市 的数据花的时间。2、我在家用电脑中WSL2下进行的单机方式测试，内存32G。（2）、标的和日期的多条件查询。
2022-02-15 21:20:43
1063
原创 Clickhouse: A股分时线bar数据python实验-批量导入[上]
from clickhouse_driver import Clientimport pandas as pdimport os;from datetime import datetime, dateimport timeimport mathdef get_all_files_by_root_sub_dirs(directory, file_type): data = list() if os.path.isdir(directory): # 是目录 dir_lis
2022-02-13 21:58:56
1607
转载 十年期货股票行情数据轻松处理——TDengine在同心源基金的应用
十年期货股票行情数据轻松处理——TDengine在同心源基金的应用同心源（三亚）基金 刘健 Dec 08, 2021 / 分类 Chinese、 用户案例、 置顶推荐小 T 导读：同心源（三亚）基金管理有限公司是一家致力于采取科学方法，在二级市场进行投资的私募公司。公司的团队成员均来自于国内外优秀大学，创始人具有计算机博士学位，有多年的算法研究、软件系统开发的经验。从我司的业务模式出发，业务人员主要通过数据挖掘和自动模式识别这两种方式来发现市场的交易规律。因此，我们的工作场景是基于大量的金融数据之上
2022-02-13 16:48:14
238
转载 ClickHouse：存储A股数据实践
ClickHouse存储A股数据实践Quant最爱用Python的交易员等作者：量化投资与机器学习公众号独家撰写量化回测，苦于MySQL久矣，特别是进行股票日内因子构建分析或全市场因子测试的时候，每当按下回车时，MySQL就跟丢了魂一样，查询费时，大吞吐量读取也非常耗时。虽然MySQL的优化技巧足够写一本书，但这些都需要交给专业的DB工程师去做，量化打工人没有能力更没有时间倒腾这些。那有没有省时省力，高效存储股票行情数据的解决办法呢。带着这个问题，编辑部简单的搜索了一下，总体分为几个方案：1
2022-02-12 21:02:51
1786
原创 python: ubuntu下把py2.7改成py3
root@iZ9ni05fy7agndgpndc7gsZ:/usr/bin# ls py*py3clean py3versions pyclean pydoc pydoc3 pygettext pygettext3 python python2.7 python2-config python3.5 python3m pyversionspy3compile pybuild pycompile pydoc2.7
2022-02-12 15:15:47
1050
原创 clickhouse: WSL下常见问题、常见用法和A股数据实践
clickhouse安装可以看相关的文档，这个照着做就行。但容易碰到的几个问题：1、登陆出现516问题如果是进入默认用户，碰到以下的类似516问题root@iZ9ni05fy7agndgpndc7gsZ:~# clickhouse-client ClickHouse exception, code: 516, host: 192.168.0.108, port: 8888; Code: 516, e.displayText() = DB::Exception: default: Authent
2022-02-11 13:22:14
2145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人