- 博客(57)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 【智能金融】- 基于强化学习 DQN 算法的量化交易策略
import kerasfrom keras.models import Sequentialfrom keras.models import load_modelfrom keras.layers import Densefrom keras.optimizers import Adamimport mathimport numpy as npimport randomfrom collections import dequeclass Agent: de...
2020-12-26 16:07:00
5497
4
原创 【大数据架构】 - 常见大数据技术
本文是一篇读书笔记，源自《大数据架构详解》。Part I: 数据获取数据获取组件 网页采集-网络爬虫 日志收集 中间件技术Part II: 流处理流的概念 流引擎-storm 流引擎-spark streaming 流引擎-flinkPart III: 交互式分析交互式分析的概念 MPP DB技术 SQL on Hadoop技术 大数据仓库Part IV: 批处理技术批处理技术的概念 MPP DB技术 MapReduce 编程框架 Spa...
2020-09-02 09:19:33
242
原创 【运筹学】-【SOLVER】- 【GUROBI】- WINDOW中python虚拟环境Gurobi安装
I. 主要参考帖子关于在Window 中安装python， 这里有一篇很好的帖子， 亲测可用：《如何在python中安装Gurobi（详细教程）》https://blog.csdn.net/weixin_41596280/article/details/89112302II. 修改部分这里要补充的是，对于像在Anaconda中有多个虚拟环境，对虚拟环境安装Gurobi的方法。非虚拟环境安装方法：虚拟环境安装方法：D:\user\0*******\Softs\..
2020-08-14 10:19:39
748
原创 数据分析 - 导论
参考信息：【1】「分析数据」是找出关键驱动元素的好方法https://zhuanlan.zhihu.com/p/26977699
2020-07-22 08:50:38
223
原创 VSCODE使用问题汇总
1.vscode调试python时提示无法将“conda”项识别为 cmdlet、函数、脚本文件或可运行程序的名称的解决方法参考：https://www.cnblogs.com/wjw2018/p/10459185.htmlvscode在调试python文件时提示如下信息：conda : 无法将“conda”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确，然后再试一次。解决办法：没有添加系统变量，所以系统根本识别不了...
2020-07-09 08:36:51
767
1
原创 数据分析： kaggle比赛 - 销量预测
继之前的Kaggle比赛实战记录，参考其他kaggler的经验，总结一篇数据分析，以作日后参考。Part I: 数据读取import pandas as pdimport numpy as npimport matplotlib.pylab as pltimport seaborn as snsfrom itertools import cyclepd.set_option('max_columns', 50)plt.style.use('bmh')color_pal = plt.r
2020-07-05 16:18:32
4131
1
原创 大数据平台架构综述 - TO DO
参考文献：1.大数据平台架构设计探究https://mp.weixin.qq.com/s/WlI-nU3hv5NC4_pPC_7jYg
2020-06-29 08:45:59
514
原创 Python常用函数: 基本函数
1.getattr() 函数getattr()函数用于返回一个对象属性值。描述getattr()函数用于返回一个对象属性值。语法getattr 语法：getattr(object, name[, default])参数object -- 对象。 name -- 字符串，对象属性。 default -- 默认返回值，如果不提供该参数，在没有对应属性时，将触发 AttributeError。返回值返回对象属性值。...
2020-06-22 20:07:36
450
原创 认知AI架构师
此为一篇经验积累贴，会引用很多的文章，筚路蓝缕，希望借助前人经验踏实成长；最近看到朋友加入百度黄埔学院开启AI架构师之路，深有感触，这大概就是the Job right :) 。前段时间看到创新工场王咏刚老师的在知乎上的几篇帖子，作为一个开端吧。为什么 AI 工程师要懂一点架构？ 人工智能的产品和工程视角 创新工场人工智能战略白皮书 2017...
2020-06-07 11:16:44
583
原创 【预约】机器学习在供应链优化中的应用
1. 一篇综述，总结机器学习在供应链优化中的应用场景， 参考文献：https://mp.weixin.qq.com/s?__biz=Mzg2MTA0NzA0Mw==&mid=2247492165&idx=1&sn=d7f326abeb5d0d9aac8c34efc4b806e8&chksm=ce1fb229f9683b3f78fbe75e9bf24889...
2020-04-24 09:09:45
683
原创 kaggle比赛 - 销量预测实战全记录
M5 Forecasting - Accuracy总体思路Part I. 课题了解；输入数据输出结果与输出形式Part II. 数据分析2.1 数据范围分析2.2数据质量（异常值处理）2.3数据相关性分析2.4 初步特征工程，2.5 建一个baseline宽表；2.6 建立pipelinePart III.预测模型3.1 模...
2020-04-16 20:51:20
3156
原创 【预约】智慧供应链-如何用大数据和人工智能优化供应链
预约待写【参考文献】1.供应链如何应用大数据？https://zhuanlan.zhihu.com/p/39676667
2020-04-09 08:36:02
435
原创 GTD实践
Thingking rock--最符合GTD思路的软件Google calender--可能对一些商务人士来说非常方便Remember The Milk--很可爱的名字，当然你可以把remember后面的换成别的谁OmniOutliner---个人认为是ios平台下最好用的时间管理软件Bonsai--当你进行一个大的项目时你可能会用到它Listpro--软件支持同步苹果iPho...
2020-04-08 08:54:07
290
原创 常用SQL语法总结 - SQL笔记
1. 分割字符串t1.KDRQ as issue_date , --- 开单日期 split(t1.KDRQ,'-')[0] as issue_year , --销售——年 split(t1.KDRQ,'-')[1] as issue_month , --销售——月 split(t1.KDRQ,...
2020-03-17 09:36:29
256
原创 预测基本问题
chapter 1. 预测有哪些典型应用主要的预测场景针对各主要场景分别要考虑的主要特征chapter 2. 主流的预测方法有哪些，分别适合哪些场景建立针对主要问题和主要方法的代码库各模型的主要参数分别是什么针对主要方法的调参要领分别是什么chapter 3. 整理一到两个项目的部署实例以及整套的的项目相关文档chapter 4. 预测经验集合: 整理提升预测精度的主要方法，从业...
2020-03-14 14:19:21
541
原创 Ubuntu内软件相关BUG
1. WPS 相关1.1 关于Ubuntu16.04中WPS不能输入中文的问题WPS表格打开终端输入：sudo vim /usr/bin/et添加一下文字到打开的文本中（添加到“#!/bin/bash”下面）：export XMODIFIERS="@im=fcitx"export QT_IM_MODULE="fcitx"参考：https://blog.csdn.ne...
2020-02-16 13:58:14
172
原创 pyspark中的dataframe应用
0. 官网：http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#module-pyspark.sql.functions1. pyspark之Dataframe操作（二）https://blog.csdn.net/hejp_123/article/details/880331332.PySpark︱DataFr...
2020-02-05 03:15:03
271
原创 python中mysql操作
以下主要以pymysql为例：1. pymysql操作mysql详解https://www.jianshu.com/p/1ba64df4fd152.PyMySQL的基本使用https://www.cnblogs.com/xfxing/p/9322199.html
2020-02-04 23:15:11
158
原创 Ubuntu 连接FTP
Part I: Windows下连接FTP服务器在Windows环境下链接FTP服务器可以采用WinSCP链接，当然也可以用FileZilla.Paft II: Linux下链接FTP服务器Linux 连接FTP的软件其实有更多选择，直接在Ubuntu Software里面搜索可以找到很多。 可以参考的几种软件如下：1. FileZilla （推荐）这是我目前在用的软件，...
2020-02-03 22:26:31
4721
原创 Spark安装 （含JAVA, Hadoop安装）
Part I. 安装软件为了安装Spark，本次安装同时安装了JAVA1.8, Hadoop2.7.7和Spark-2.4.4, 具体如下：Part II. JAVA安装Java 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html2.1 JAVA安装主要是JDK安装。...
2020-01-28 20:13:37
1136
原创 Pandas相关
1. 时间序列python中与时间相关的格式通常会有如下三种： String datetime Pandas Timestamp String - datetime.datetime.strptime('20190701', '%Y%m%d').date() pd.to_datetime('20190701', format='%Y%m%d'...
2019-12-15 22:09:44
104
原创 重要数据集合
1. 全国历年各城市天气[靠谱]http://www.tianqihoubao.com/lishi/参考爬虫代码：https://blog.csdn.net/ccvin/article/details/81587008
2019-12-07 20:53:21
151
转载 [工程哲学] 解决问题的黄金三步法 --- 产品构思与项目汇报
参考原文:https://mp.weixin.qq.com/s?__biz=MzIzOTU0NTQ0MA==&mid=2247491742&idx=1&sn=58b360ae6a588ad7af478cb79dbd350b&chksm=e92add91de5d5487cae661fd6f172b7139a693e2e1a5ec45cec5bc1734a708254...
2019-10-23 08:43:07
1139
原创 Python 常用函数： 文件类操作
Part I: OS模块Python os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话，这个模块是尤为重要的。(一语中的)1.1 常用方法1、os.name输出字符串指示正在使用的平台。如果是window 则用'nt'表示，对于Linux/Unix用户，它是'posix'。2、os.getcwd()函数得到当前工作目录，即当前Python脚本工作的目录路...
2019-10-20 14:36:02
143
原创 Nvidia driver + CUDA + cudnn + anaconda + tensorflow 版本匹配 -- 解决3D object detection模型out of memory问题
目录Part I: 问题与原因Part II: 参考配置Part III: 当前版本查看Part III: 版本匹配3.1 Nvidia driver 选择3.2Nvidia driver 与 CUDA匹配3.3CUDA 与 cudnn 与 tensorflow-gpu版本匹配Part IV: Anaconda引起的版本问题4.1 anaconda中cudn...
2019-10-14 22:20:14
597
原创 深度学习python环境参考 - Tensorflow
以下是参考一套云计算中心计算服务器中python包与版本: 20191014.已测试可运行alexnet, vgg以及3D object detection 模型等.absl-py==0.7.1attrs==19.1.0backcall==0.1.0bleach==1.5.0chardet==2.3.0cycler==0.10.0decorator==4.4.0defused...
2019-10-14 09:04:52
337
原创 Ubuntu常用命令 - Python 相关
1. 查看python路径方法1：whereis python查看所有python的路径，不止一个方法2：which python查看当前使用的python路径python: /usr/bin/python3.5m /usr/bin/python3.5 /usr/bin/python2.7-config /usr/bin/python /usr/bin/python2.7 ...
2019-10-14 08:46:15
218
原创 ubuntu 包安装
1. Cmake 版本太低https://blog.csdn.net/qq_34935373/article/details/90266958注意, 会影响ros使用, 需要重新安装ros系统
2019-10-12 10:13:02
120
原创 XGBOOST系列I: 基本原理
该系列还在整理中.XGBOOST系列I: 基本原理XGBOOST系列II:模型代码XGBOOST系列III: 代码解释XGBOOST系列IV: 主要参数以及调参要点References:[1]. 陈天奇slides:https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf[2]. Offici...
2019-10-09 08:34:52
168
原创 Python实现自动构造训练集与测试集
从KITTI数据集下Lidar, image, lable等多个文件夹自动构造新的数据集。 新的数据集结构如下：import os, random, shutildef moveFile(fileDir): pathDir = os.listdir(fileDir) #取图片的原始路径 filenumber=len(pathDir) ...
2019-10-04 22:48:39
1142
原创 特征提取与特征工程
目录PartI: 数值类数据的特征工程1.1 Counts 计数1.2 Binarization 二值化1.3 Rounding: 四舍五入1.4 Interactions: 多元交互1.5 Binning: 数据分箱1.6 Statistical Transformations 统计变换1.7 Log Transform1.8 Box-Cox Transfor...
2019-09-29 14:55:05
1182
1
原创 特征选择
目录为什么要进行特征选择？特征选择的两个环节Part I: 常见的特征选择方法1. 过滤式选择2. 包裹式选择3. 嵌入式选择Part II: 降维基于主成分分析的特征提取为什么要进行特征选择？一是因为现实任务中经常为遇到维数灾难问题;二是因为去除不相关特征会降低学习任务的难度;特征选择的两个环节1） 子集搜索2）子集评价：我们可以基于...
2019-09-28 17:13:25
561
原创 随机森林
Part I: 集成学习简述集成学习(ensemble learning) 通过构件并结合多个学习器来完成学习任务. 在集成学习中, 随着集成中个体分类数目的增大, 集成的错误率将指数下降, 最终趋向于零. 这里有一个关键假设: 基学习器的误差相互独立.根据个体学习器的生成方式, 目前的集成学习方法大致可分为两大类:个体学习器间存在强依赖关系, 必须串行生成的序列化方法, 代表是Boo...
2019-09-25 11:22:26
469
原创 决策树
目录Part I: 基本定义Part II: 基本流程递归终止条件:Part III: 如何选择最优划分属性信息增益(inforamtion gain)增益率(gain ratio)基尼指数(Gini index)Part IV: 决策树处理过拟合剪枝处理-预剪枝剪枝处理-后剪枝Part V: 连续值处理Part VI: 缺失值处理Referen...
2019-09-24 10:22:56
468
原创 AlexNet系列I:模型参数计算
Part I: 计算结果总表AlexNet基本结构图：AlexNet模型参数计算总表：Layer Name Filter Padding Kernel Stride Img size Tensor Size Weights Biases Parameters Input Image - - - - ...
2019-09-23 22:50:22
3743
4
Human-level control through deep reinforcement learning
2017-09-23
Table of Integrals, Series, and Products, Seventh Edition
2013-02-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人