- 博客(74)
- 收藏
- 关注
RSS订阅
原创 【Python】调取tushare和joinquant的数据写入本地MySQL数据库（推荐）（技术实现过程）
本次需求，源于数据建设项目小模拟_构建量化投资分析模型，其文字报告版发于个人知乎专栏 https://zhuanlan.zhihu.com/p/349686026。按照《构建量化投资分析模型_数据指标体系构建V0.2_20210309》的进度，先获取了基本面数据和技术面数据（另带一些基础数据）；至于风险预警、行业评估、宏观环境等其他专题模块，迟些再搭建指标体系和获取数据。本篇CSDN帖子主要记录代码实现过程，不涉及更深入分析。完整版的分析报告，统一发布于个人知乎专栏<数据决策分析
2021-03-09 17:44:57
834
2
原创 信贷风控评分卡模型（上）_Give Me Some Credit（技术实现过程）
本帖是在2019年5月初入门python之时，选取的较为系统的练手案例，主要内容是信用风险计量体系之主体评级模型的开发过程（可用“四张卡”来表示，分别是A卡、B卡、C卡和F卡）。如今再回顾，结合前几月股票市场被割韭菜的切身体会，应该能应用这个模型来做股票市场的风险评级模型分析/收益评级模型分析。已经跃跃欲试了。——2020.11.6补充说明
2019-05-26 11:12:32
8398
11
原创 New York City Taxi Trip Duration纽约出租车大数据探索（报告版）
一、项目说明该项目来源于Kaggle，旨在建模来预测纽约出租车在行程中的总行驶时间。在建模预测的过程中，我们可以顺便探索纽约市民打车出行习惯及其他有效信息。附kaggle项目链接 https://www.kaggle.com/c/nyc-taxi-trip-duration/overview【注】CDSN博客编辑器体验不佳，本文排版格式失效且图片丢失。如需美观及完整，敬请移步知乎专栏。...
2019-05-12 16:46:24
9503
10
原创 Bank Credit_个人贷款违约预测
# 本次case主题：个人贷款违约预测模型# 简单点的时候，一般会提供建模使用的宽表，我们可以建立一个逻辑回归模型并用其进行预测。但是当我们面临许多张原始客户或账户数据表时，很可能手足无措。# 建模的人都知道，构建建模宽表（属于特征工程最重要的部分，但是和机器学习中常提到的变量扩增、变量压缩算法是两码事）是商业数据分析中最难、最耗时、最考验数据科学家功底的环节。# 本案例使用一套真实的数据...
2019-05-07 11:38:29
3465
原创 Kaggle_Predict Future Sales_Prac 1（时间序列预测商品销量）
# 本次比赛目标：通过时间序列模型，预测接下来一个月,俄罗斯某商超集团每件商品在各个商店的总销售额。# 听说 Eviews 和 MATLAB 是经济金融界的利器，特别是在时间序列方面，二者优势得天独厚。# 我估摸着，就这个比赛项目来说，是不是直接把源数据拉进 Eviews，然后托拉拽就搞定了（此处偷笑）。# 好了回到正题，用Python打比赛。# 在共享开源的社区，参考着大神的帖子。虽然...
2019-04-29 16:41:12
10422
14
原创 用Python分析用户消费行为 Student Comsumption Analysis ①
# 本次案例：用户消费行为分析# 借用阿里天池【数智教育_数据可视化创新大赛】数据源中的学生消费数据来作为本次用户消费行为分析的数据来源。# 阿里天池数智教育数据可视化竞赛网址 https://tianchi.aliyun.com/competition/entrance/231704/introduction?spm=5176.12281949.1003.6.7b4576d8HSXTTc...
2019-04-15 12:29:02
3915
5
原创 【】Fate单机部署及代码调试全流程ongoing
通过ls命令，查看到具体的三方库/安装包文件后，可以把这些文件列表复制出来，分别在前面加上“pip install”，以供下一步批量安装使用。前面链接的第二步相对复杂，在“新建虚拟机向导”那一步，选的“稍后安装操作系统”。前面在Ubuntu部署好fate了，接下来的目标是：在本机实现远程调试doceker容器里的fate源码。但是个人比较懒，以及为了省时间，就粗暴式地选择“安装程序光盘映像文件”，后面走简易安装模式，就结束了。我既装了Linux双系统，又在win10上装了虚拟机-Ubuntu系统。
2022-12-19 15:45:21
1084
原创 windows10/Mac下安装fbprophet及使用虚拟环境
Prophet是Facebook 在2017年2月开源的一款基于 Python 和 R 语言的时间序列预测框架，也是一种数据分析工具。github官网：https://github.com/facebookincubator/prophetprophet是基于可分解（趋势+季节+节假日）模型的开源库，Prophet充分的将业务背景知识和统计知识融合起来，它让我们可以用简单直观的参数进行高精度的时间序列预测，并且支持自定义季节和节假日的影响。官方号称“让普通人也能像数据分析师一样得出专业的结论”。
2022-10-28 13:29:30
1977
5
原创 【已解决】单机部署fate 在启动测试时提示“docker exec“ requires at least 2 arguments.
联邦学习解决单机部署fate 在启动测试时提示"docker exec" requires at least 2 arguments.
2022-10-18 14:59:00
1516
原创 Python自动化：批量合并某个文件夹内子文件夹的所有Excel，并新增两列分别备注文件路径和子sheet名
批量合并某个文件夹内子文件夹的所有Excel，并新增两列分别备注文件路径和子sheet名使用tips：1、修改文件目录成自己想合并的总文件夹路径；如运行时间太久，可能是文件太大或者太多的原因，可考虑精准缩小文件夹范围。2、生成文件将放于当前设置的文件目录/文件夹下的根目录。完整代码：...
2022-06-10 19:16:27
801
转载 Mac安装neo4j
1.安装brew install neo4j2.启动与关闭启动 neo4j start关闭 neo4j stop3.neo4j startActive database: graph.dbDirectories in use:home: /usr/local/Cellar/neo4j/3.3.4/libexecconfig: /usr/local/Cellar/neo4j/3.3.4/libexec/conflogs: /usr/local/Cellar/neo4j/3.3.4/lib
2022-03-08 15:42:42
1797
1
原创 【已解决】python 安装 talib 报错_含mac os x和windows系统
适用于解决mac系统的python无法安装 talib 模块/包
2022-01-10 20:37:50
3419
1
转载 【测试成功】安装brew以及使用终端brew安装mysql，解决zsh: command not found: brew
macOS 10.15 终端直接执行这个就可以了/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"无法转载，只能复制。内容来源于：https://blog.csdn.net/zhengwenhaodezw/article/details/108824225?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevan
2021-11-14 21:24:08
492
原创 【已解决】连接hive报错 ‘impala.dbapi‘
使用impala连接hive失败，报错提示如下：ModuleNotFoundError: No module named 'impala.dbapi'解决办法：安装以下几个包：
2021-11-10 09:40:20
4287
2
原创 Mac下使用mysql：查看端口、修改密码、zsh中mysql命令不存在
方法一：【知乎】Mac配置mysql提示zsh: command not found: mysql来源于：https://zhuanlan.zhihu.com/p/137351654安装完mysql，使用网上各种配置教程尝试后，输入mysql -u root -p，仍会出现：zsh: command not found: mysql的提示。解决方案：1、在终端进入目录：/usr/local/bincd /usr/local/bin/2、在终端设置mysql命令路径sudo ln -fs /us
2021-07-30 20:17:26
767
原创 【已解决】python连接hive库, 安装sasl和thriftpy报错apple-darwin13.4.0-clang，Command errored out with exit status 1
一、python连接hive库参考帖子：《Python链接Hive读取数据的几种方式》https://www.jianshu.com/p/9dd3a741a8ba二、安装sasl和thriftpy，报错
2021-07-11 13:10:47
480
原创 在 Excel for Mac 中使用 Power Query（未全程解决）
背景MacBook Air M1，装了office365.原目的是因工作需要计划一键批量下载疫情数据，然而参照帖子教程打开excel发现在“数据”-“获取外部数据”路径下没有“power query”这个功能。找了很多帖子也解决不了，终于在微软官网看到了一句话：“尽管 Power Query 编辑器中的创作在 Excel for Mac 中不可用，但 VBA 支持 Power Query 创作。 将文件中 VBA 代码模块从 Excel Windows Excel for Mac过程包括两个步骤。 本
2021-07-11 12:18:35
11100
3
转载 【转载】Python遍历pandas数据方法总结
转载自脚本之家https://www.jb51.net/article/134753.htm 《Python遍历pandas数据方法总结》贴两条常用的，其他的移步原帖链接。列表解析方式disftance_list = [df.iloc[i][‘high']/df.iloc[i][‘open'] for i in range(0,len(df))]apply()方法循环方式apply()方法可将函数应用于dataframe特定行或列。函数由lambda方式在代码中内嵌实现，lambda函数的末
2021-06-26 19:41:00
360
原创 【已解决】xgboost多标签分类预测，运行xgb.train时，报错SoftmaxMultiClassObj: label must be in [0, num_class)
业务场景为多标签分类预测，传闻xgboost拿下了kaggle赛场大部分非xx数据的冠军，于是初试牛刀xgboost。xgboost模型训练报错，百度翻了一圈没找到对应的解决方案，最终通过猜测可能的堵点以及逐个尝试破解，试出了解决方案。本着开荒分享促进交流的原则，谨写此帖。报错背景及内容报错提示行是“xgb.train(plst, dtrain, num_rounds)”：# xgboost模型训练model = xgb.train(plst, dtrain, num_rounds)报错关键
2021-06-21 19:25:34
8040
2
转载 python安装docx模块出现Import Error: No module named ‘exceptions‘的解决方案
最近想使用python+word来做文档的提取，于是想用docx三方库，我用的是python 3.6，开发环境为Anaconda3,于是通过Anaconda 的Anaconda Prompt命令窗口安装docx，输入一下指令：pip install docx命令窗口显示成功后，在开发环境中输入import docx测试三方库有没有成功，显示Import Error: No module named 'exceptions'...
2021-06-14 23:47:25
2322
3
原创 【已解决】谷歌colab在线编辑器无法连接Python本地
【背景】首先，出于新旧两台电脑交替使用Python进行数据入库等的协同工作需求，在下面这篇帖子的推荐下，打开了谷歌Colaboratory Google提供的在线编辑器（https://colab.research.google.com）—— ——Google推出了牛逼的Python在线编辑器，以后协同项目代码就省心了（https://blog.csdn.net/seoyundu/article/details/90131364）【报错】本地代码贴进来准备运行的时候，连接不上（如图）。【结果
2021-03-08 15:22:37
3451
原创 【已解决】Dbeaver连接MySQL打开表时，报错 Unhandled event loop exception Java heap space
背景：使用Python调用tushare 10年上证指数数据（两千多行，11列）导入本地mysql数据库后，通过dbeaver连接数据库，打算查看表数据内容，提示Unhandled event loop exception Java heap space。听说是jvm内存不足，可以先扩个容。那就先跟帖搞一波。参考：Eclipse设置内存大小 https://blog.csdn.net/you23hai45/article/details/43201099...
2021-03-06 18:34:41
3356
原创 【已解决】python pymysql报错DataError (1265, Data truncated for column ‘num‘ at row 1)
一、背景拉取tushare财经数据到本地，再转换入数据库。建表遇到这个报错：DataError (1265, Data truncated for column 'num' at row 1)时间：20201216部分执行代码如下：db = pymysql.connect(host,user,password,database)#获取游标对象cursor = db.cursor()#创建数据库，如果数据库已经存在，注意主键不要重复，否则出错try: curso...
2020-12-18 19:48:45
9830
1
原创 【练手帖】将本地Excel数据表格导入本地MySQL数据库（不推荐）
在将tushare当日数据获取到本地再导入数据库之前，先找个数据练练手。如下：参考：1、使用Python将数据插入数据库（一）https://www.cnblogs.com/dennis-liucd/p/7265641.html2、Python获取指定文件夹下的文件名的方法https://www.jb51.net/article/134543.htm时间：20201218结束备注：获取文件夹下的所有文件清单，在这个练手的操作中没用上，不过在之后批量调取tushare数据并批量调度入库，就用得上
2020-12-18 19:39:15
1030
1
原创 【数据可视化】FineReport 帆软报表入门记录帖（未完待续）
此番学finereport帆软可视化，一方面来源于个人理财研究之股票分析可视化看板的需求，另一方面来源于职业转型及精进的需要。前者，作为一颗小韭菜，为了尽快摆脱被割的厄运，也为了尽快有稳定的理财收益率；而后者，则希望尽快从跨行入行打杂的工作现状转型到更有含金量的工作岗位。本篇博客，聊以记录，也为分享。共勉。—— 起于2020.11.4早晨参考视频：B站 帆软基础入门教学视频https://www.bilibili.com/video/BV1NJ411u7A3?from=search&sei.
2020-11-04 09:25:49
3399
原创 【数据可视化】FineReport学习计划之SQL上篇（图片上传失败）
来源于FineReport学习计划表 https://bbs.fanruan.com/thread-77147-1-1.html中的SQL自学部分。这部分题目，网上没有答案，官方也明确不会提供答案。作为一个曾经已经SQL入门过了的人再来撸这套题，相对容易些。既然撸出来了，就来发个帖，一为知识分享，二为记录备忘。
2020-10-18 15:20:50
378
原创 【python】财经数据获取_tushare简略版V1.0（备查）
财经数据获取_tushare简略版V1.0撰写及编辑于20201011周日 广州图书馆主要获取列表：1、当前所有正常上市交易的股票列表 pro.stock_basic2、指数基础信息列表 pro.index_basic3、指数每日行情 pro.index_daily4、沪股通、深股通成分数据 pro.hs_const5、个股或单个股指每日行情 pro.dailyimport pandas as pdimport numpy as npimport datetimeimport tim
2020-10-11 17:10:39
627
原创 【Python办公自动化】根据excel中数据批量生成word文档（适用劳动合同、质检报告、通知书等应用场景）
大家在工作中一定经常遇到类似的情况：1、制作劳动合同表，要从excel表格中将每个人的数据导入到docx劳动合同中，重复量很大。2、制作XX方案或XX报告，Word文档布局和格式统一，只是需填充的内容信息来源于Excel。3、制作通知书，从excel表格中将每个人的数据分别填入到docx通知书中。4、其他各式各样的场景，反正都满足同样的条件，就是：**个性化定制多份Word文档，而个性化信息来源于格式统一的Excel。**这次是应同事小伙伴邀约，以及自己之前也遇到过这样的需求，就搞了一个快速生成
2020-09-30 15:02:55
7888
8
原创 【Python】监督学习-上证指数预测涨跌-SVM
本实例来源于 MOOC_Python机器学习应用_第二周有监督学习_分类_上证指数预测涨跌.由于下载不了课程所附的源数据，我采取了另一种渠道（调用tushare数据）来获取上证指数及个股数据。附课程链接：https://www.icourse163.org/course/BIT-1001872001核函数为默认rbf的svm模型跑出的结果是svm classifier accuacy:[0.5635980323260716, 0.517217146872804, 0.5130007027406887
2020-09-05 12:57:31
2994
2
原创 【已解决】Python_sklearn_svm报错 ValueError: The number of classes has to be greater than one； got 1 class
网上（百度）能找到的报错答疑比较少，所以来贴个帖子。同为分享故，减少后来人的坑。运行sklearn.svm函数预测时，报错 ValueError: The number of classes has to be greater than one; got 1 class找到报错原因了，因为y只有一种可能的值，1.接下来，是要找到为什么y的赋值只有1.—— —— ——先附函数代码：```pythondata.sort_index(0,ascending=False,inplace=True)d
2020-09-05 12:52:52
12011
原创 houseprice_analysis_广州房子租售比分析（中）
续上篇，houseprice_analysis_广州房子租售比分析（上）https://blog.csdn.net/weixin_44216391/article/details/106457799"""由上，如果我们要对比租售比情况，可取二者共同信息是：salehouse：所在区域-板块（eg番禺-新塘北）、小区名称（eg锦绣天伦花园）、大小（eg 90.58平米）、楼龄（eg 2015年建）、总价（eg 178万）、均价（eg 19652元/平米）lendhouse：所在区域-板块（eg黄埔
2020-07-28 13:13:41
2537
原创 【已解决】python解决replace(“/n“,““)无法替换换行符
先看原数据，一直在想办法清除 “\n”和“/”这两个符号。# 从提取出的几列来看，还有些细节需要再洗洗：例如为了统计和美观需要，“\n”和“/”这两个符号应去掉。lendhouse_content_split3 = lendhouse_content_split2.iloc[:,[0,16,24,42,70,94]]lendhouse_content_split3.columns=['location_name','area','direction','housetype','stair_type'
2020-07-20 20:34:51
13627
3
原创 houseprice_analysis_广州房子租售比分析（上）
2020.5.31 在XXX等多重因素作用下，作为一棵跨了个行还未走上正轨的小韭菜瑟瑟发抖。虽然，城市产业链是变化的，JJ重心和JY情况也是动态的：我无法准确预测某个小区某个板块在未来3年、5年、10年甚至更久，是否还一如既往地繁荣，房子的价值是否一如既往地坚挺，那，就先看看当下，当下的其中一个因素——租售比。--------
2020-06-10 09:47:28
1223
原创 调整jupyter notebook 背景主题颜色
为保护视力，调整jupyter notebook 背景颜色。有看过一些帖子也都试过一些背景，目前感觉比较舒适的背景，其设置过程如下。记录下来备忘。参考链接：https://blog.csdn.net/wh8514/article/details/81532286—— —— —— ——安装Jupyter主题：pip install jupyterthemes然后，更新Jupyter主题：...
2020-05-31 17:49:43
9051
2
原创 【Python办公自动化】快速将excel按照某列不同的值批量拆分
工作中可能经常遇到这种情况：出于数据安全考虑，不方便把全量数据发给我们的全部对象，需要把一份全量数据按照不同的渠道（有字段标识）分拆，然后分别发送给对应的对象。如果这类型工作比较多且量比较大，那就需要搞个自动化小程序，一键分拆，故有此帖。当然分拆之后也会需要自动发送邮件给不同对象，这个不在此帖描述。—— —— —— —— —— —— ——这里使用从贝壳找房爬取下来的租房数据，假设需要按照不同...
2020-03-09 13:20:54
2118
原创 【学习纠错帖】TVTK库-Could not find a version that satisfies the requirement PyQt4-4.11.4-cp37-cp37m-win_amd
看MOOC课程《Python科学计算三维可视化》，安装TVTK库，报了个错。 pip install PyQt4-4.11.4-cp37-cp37m-win_amd64PS D:\2018_BigData\tools\Python_TVTK_3.7> pip install PyQt4-4.11.4-cp37-cp37m-win_amd64ERROR: Could not find ...
2020-03-07 09:53:20
2135
2
原创 Python安装TVTK库-用于科学计算三维可视化
看MOOC课程《Python科学计算三维可视化》，工欲善其事必先利其器：一开始提到先安装TVTK库，于是找一下网上的帖子来参考安装。安装TVTK库参考链接：https://www.jianshu.com/p/203a05390aa3—— —— —— —— ——下面开始表演。1.在网址为：http://www.lfd.uci.edu/~gohlke/pythonlibs/里下载以下内容：V...
2020-03-05 23:57:36
5600
3
原创 【学习纠错帖】Python机器学习与量化交易_市值alpha因子选股
学习视频来源B站：https://www.bilibili.com/video/av55456917?t=566&p=17 Python机器学习与量化交易——————————————————照着视频码出来的原代码是这样的：# 可以自己import我们平台支持的第三方python模块，比如pandas、numpy等。# 在HS300，选出市值比较小的10只股票。# 在这个方法中...
2020-02-07 16:06:00
1140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人