2016年03月_fly-iot

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 TuShare（3）：使用pandas 压缩存储hdf5文件

hdf5在存储的是支持压缩，使用的方式是blosc，这个是速度最快的也是pandas默认支持的。使用压缩可以提磁盘利用率，节省空间。开启压缩也没有什么劣势，只会慢一点点。压缩在小数据量的时候优势不明显，数据量大了才有优势。同时发现hdf读取文件的时候只能是一次写，写的时候可以append，可以put，但是写完成了之后关闭文件，就不能再写了，会覆盖。

2016-03-31 12:35:59 16769

原创 TuShare（2）：使用TuShare，抓取股票数据并存储到数据库

股票数据比较特殊，需要做数据统计的。都需要一次进行批量查询多个数据，然后进行分析。所以股票数据不一定要放到数据库中存储。因为一般就两个维度。那只股票，和那天的股票信息，然后使用模型进行分析预测。所以数据可以存储为：/data/stock/yyyy/yyyMM/yyyyMMdd.hdf5存储的数据是hdf5：Hierarchical Data Format，可以存储不同类型的图像和数码数据的文件格式

2016-03-30 21:30:10 25409

原创使用python进行文件备份

1，服务器需要备份因为业务需要，有一台windows的2008服务器。上面的文件需要备份，但是windows的cmd命令写的不熟。开始想硬着头皮写一个cmd脚本，发现连时间处理都找了半天。真的是太难用了。2，使用python解决直接在windows上面安装python，然后用windows的计划任务执行。在网上找了半天，备份ftp的方法。但是写的都不是咋详细。总结了下： htt

2016-03-29 09:52:56 2058

原创 JeeSite（2）：导入数据，进入系统

上次运行jeesite的时候发现数据没有初始化成功。系统都进入不去。而且在执行初始化的时候报错。在db/sys/jeesite_data.xls这个excel里面是要初始化的数据。我感觉windows可能能跑通，我的是Mac，里面还有mysql的大小写问题呢。在maven执行dbunit 的时候读excel的时候报错了，没有初始化成功。最近要研究python，发现了一个读excel的工具，想到了解决方案。

2016-03-22 13:48:47 7864 1

原创推荐一个妹子，播报汽车新闻

推荐理由妹子声音好听，稿子也挺搞笑的。越来越不喜欢很正经的新闻了。越小众的越有意思：这个妹子叫褥子。地址持续更新中：【极客车闻播报】委内瑞拉油

2016-03-18 15:49:21 2352

原创 AlphaGo 开源项目研究（2）

首先折腾AlphaGo是用python写的。上次已经把web跑起来了，但是和机器学习好像没有太多关心。这次要把环境弄好。搭建python环境.2，目录分析Al

2016-03-17 18:50:10 5427 4

原创 AlphaGo 开源项目研究（1）

最近这个AlpahGo非常的火呢。Goolge的alphaGo赢了韩国围棋大师李世石。一下子感觉还是google大神厉害。比卖假药的百度强不少。https://deepmind.com/alpha-go.html![](http://img.blog.csdn.net/20160316145606074)而且代码也开源了。部分开源。https://github.com/Rochester-NRT/Alp

2016-03-16 18:51:16 16477 5

原创 Eclispse Che（2）：启动Che服务，进入IDE界面

1，关于Docker上次使用Che的时候没有成功创建Project。其实主要问题就是docker的网络问题。使用中文镜像就可以解决问题了。2，配置镜像参考文档： http://www.oschina.net/news/57894/daocloud 首先是注册daocloud账号：注册账号之后就可以看到 https://dashboard.daocloud.io/mirror

2016-03-14 19:08:19 3788 1

原创 Eclispse Che（1）：Centos7 安装che服务

Eclipse Che 是一个高性能的基于浏览器的集成开发环境，通过提供结构化的工作区、项目输入、模块化扩展插件来支持 Codenvy 的引擎。Eclipse Che 采用 Java 开发，支持 Windows、Linux 和 OS X 系统。提供扩展功能用于支持多种编程语言。目前支持的语言包括：C++、Go、Java、Python、Ruby、SQL，提供语法高亮、代码分析、代码辅助和调试功能。

2016-03-14 14:54:28 4716 2

原创 TuShare（1）：Python股票抓取工具TuShare

TuShare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。考虑到Python pandas包在金融量化分析中体现出的优势，TuShare返回的绝大部分的数据格式都是pandas DataFrame类型，非常便于用

2016-03-03 12:43:01 12534 5

原创 JeeSite（1）：推荐一个java开源项目 JeeSite

1，关于JeeSitehttp://jeesite.com/ https://github.com/thinkgem/jeesite JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache S

2016-03-02 12:20:13 6258 4