数据统计
文章平均质量分 71
fly-iot
没什么大不了,一直写代码。
展开
-
Linux 环境中安装 ORC 库,golang读取orc文件,做大数据处理学习准备
目录前言1,关于ORC库2,安装使用3,golang代码4,orc总结前言本文的原文连接是:https://blog.csdn.net/freewebsys/article/details/124121247未经博主允许不得转载。博主地址是:http://blog.csdn.net/freewebsys1,关于ORC库网站地址:https://orc.apache.org/ORC的全称是(Optimized Row Columnar),ORC文件格式是一种Hadoop生态圈中的列式存储格原创 2022-04-12 14:28:06 · 1086 阅读 · 0 评论 -
PythonStock(29)股票系统:涛动周期论 经济周期决定人生财富命运,下一步的研究方向,从宏观角度进行市场行情研究。
目录前言1,关于周期理论2,使用3,总结前言本文的原文连接是:https://blog.csdn.net/freewebsys/article/details/108526961未经博主允许不得转载。博主地址是:http://blog.csdn.net/freewebsys1,关于周期理论最近在学习股票,体会到。周期理论是进行预测的。指标,波浪理论是进行解释的。【杨普拉斯 ,杨世光在金钱爆:明天过后?FED最强鹰派投降 VS. 美股空头溃败】https://mp.weixin.qq原创 2020-09-11 09:07:20 · 1942 阅读 · 0 评论 -
Golang(11):使用Golang,做数据统计分析系统,调研相关的 lib 库框架。记录。
目录前言1,关于Golang 统计系统2,使用 dataframe-go3,使用 go-talib3,使用 go-talib4,总结前言相关Golang 全部分类:https://blog.csdn.net/freewebsys/category_2120333.html本文的原文连接是:https://blog.csdn.net/freewebsys/article/details...原创 2020-04-22 21:14:20 · 6232 阅读 · 0 评论 -
data-bi(1):关于bi数据分析软件,大数据分析软件
前言本文的原文连接是: https://blog.csdn.net/freewebsys/article/details/84318480未经博主允许不得转载。博主地址是:http://blog.csdn.net/freewebsys1,关于bi商业智能(Business Intelligence)是数据分析:https://zhuanlan.zhihu.com/p/245738...原创 2018-11-21 16:35:50 · 584 阅读 · 0 评论 -
PythonStock(21)股票系统:重新修改docker脚本,升级python3。精简代码。
最近抽时间把docker 镜像重新打了下。之前使用的是tensorlfow 因为那个是安装 pandas numpy tushare 还都不方便。造成镜像特别的大,要下载好长时间,而且折腾了几次,还使用的是python2.现在 tensorflow 支持的特别好,python3 也支持 tensroflow server 了,于是都升级了下。都挺好用的。为了让镜像小想了很多办法呢。原创 2018-08-16 08:59:16 · 5640 阅读 · 1 评论 -
Google 开源分布式追踪系统 OpenCensus 框架
1,关于OpenCensusOpenCensus 是 Google 开源的一个用来收集和追踪应用程序指标中立厂商的第三方库。 支持多个语言的lib库,但是不能展示。 官方网: http://opencensus.io/ GitHub 项目: https://github.com/census-instrumentation 有多个项目的客户端。 Java, C++, Go, .原创 2018-02-01 16:49:21 · 2850 阅读 · 0 评论 -
TuShare(3):使用pandas 压缩存储hdf5文件
hdf5在存储的是支持压缩,使用的方式是blosc,这个是速度最快的也是pandas默认支持的。使用压缩可以提磁盘利用率,节省空间。开启压缩也没有什么劣势,只会慢一点点。压缩在小数据量的时候优势不明显,数据量大了才有优势。同时发现hdf读取文件的时候只能是一次写,写的时候可以append,可以put,但是写完成了之后关闭文件,就不能再写了,会覆盖。原创 2016-03-31 12:35:59 · 16769 阅读 · 0 评论 -
TuShare(2):使用TuShare,抓取股票数据并存储到数据库
股票数据比较特殊,需要做数据统计的。都需要一次进行批量查询多个数据,然后进行分析。所以股票数据不一定要放到数据库中存储。因为一般就两个维度。那只股票,和那天的股票信息,然后使用模型进行分析预测。所以数据可以存储为:/data/stock/yyyy/yyyMM/yyyyMMdd.hdf5存储的数据是hdf5:Hierarchical Data Format,可以存储不同类型的图像和数码数据的文件格式原创 2016-03-30 21:30:10 · 25406 阅读 · 0 评论 -
AlphaGo 开源项目研究(2)
首先折腾AlphaGo是用python写的。上次已经把web跑起来了,但是和机器学习好像没有太多关心。 这次要把环境弄好。搭建python环境.2,目录分析Al原创 2016-03-17 18:50:10 · 5426 阅读 · 4 评论 -
jor(1):简表(JOR)开源的报表工具调研
1,项目介绍参考:我觉得需要说明下,我不是这个公司的员工,也不是做广告,只是调研下这个开源报表软件。简表(JOR),是一款开源的报表工具,完全java实现,核心代码来自于国内一线报表工具品牌杰表.2008 。提起开源的报表工具,不能不说说jaspereport,jasperreport作为著名的开源报表工具,在java程序员中一直享有盛名。但由于其设计主要是针对西式的简单报表,设计起复杂的中式报表来原创 2015-08-21 23:49:38 · 4217 阅读 · 0 评论 -
centos 7 安装开源数据统计piwik
1,关于piwikPiwik是一套基于PHP5+MySQL技术构建的开源网站访问统计系统,前身是phpMyVisites。Piwik可以给你详细的统计信息,比如网页浏览人数,访问最多的页面,搜索引擎关键词等等流量分析功能。此外,它还采用了插件扩展及开放API架构,可以让用户根据 自已的实际需求创建更多的功能。 目标是打造一个自己的 Google Analytics(分析)系统。一般来说使用比如百度原创 2015-07-30 10:51:46 · 3402 阅读 · 1 评论