- 博客(18)
- 收藏
- 关注
RSS订阅原创 tushare笔记（二）——数据保存到mysql
在tushare官方网站中提到，通过pandas提供的将数据便捷存入关系型数据库的方法。在新版的pandas中，主要是已sqlalchemy方式与数据建立连接，支持MySQL、Postgresql、Oracle、MS SQLServer、SQLite等主流数据库。本例以MySQL数据库为代表，展示将获取到的股票数据存入数据库的方法,其他类型数据库请参考sqlalchemy官网文档的create_e
2016-10-22 12:35:00
8458
1
原创 tushare笔记（一）——安装
TuShare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。考虑到Python pandas包在金融量化分析中体现出的优势，TuShare返回的绝大部分的数据格式都是pandas DataFr
2016-10-15 10:03:07
1203
转载 phpmyadmin表加载卡顿，打不开的处理方法
第一步, 打开 ./version_check.php文件. 找到以下代码.$save = true; $file ='http://www.phpmyadmin.net/home_page/version.json'; if (ini_get('allow_url_fopen')) { $response = file_get_contents($file); } e
2016-03-08 14:40:36
541
原创 svn服务器端搭建及自动更新项目文件
1.服务器端程序下载：https://www.visualsvn.com/server/download/根据情况选择安装32位或64位版本2.按照下列参考链接内容进行安装设置，为了防止地址失效，此处多列举几个网址http://www.3lian.com/edu/2015/05-05/210161.htmlhttp://www.linuxidc.com/Li
2016-01-13 13:53:12
1566
原创 wecenter二次开发系列（三）——多个wc框架同域网站共享cookie
由于项目需要，我们需要多个二级域名问答网站对整站的内容进行独立管理和运营。那么，如何实现用户在任何一个子站或主站登入登出统一步调呢？在这里我们需要引入用户认证系统，主要的思想是各网站公用一张用户表(table)，用户不管在主站还是子站登入登出的所用有关用户数据的操作都跳转到公用的用户表。明确了思路，接下来就是分步对wecenter的登录注册模块进行对应的二次开发。具体的代码修改分以下几块：1.对于主
2015-11-03 18:25:58
2111
原创 wecenter二次开发系列（二）——提问去重功能
针对wecenter在提问环节没有增加去重功能，为了避免用户提问重复问题，需要增加提问环节的去重功能。具体代码目录：/app/publish/ajax.php，在publish_question_action函数中增加如下代码：//检查是否有相似问题$model = $this->model('question');$last_question_id_before_import = $model
2015-10-20 16:41:43
1114
原创 python中使用xlrd、xlwt读写excel（xls格式）
在工作中我们常常要将excel中的数据进行读写，用python对excel读写非常容易，我们只需要下载安装python提供的xlrd和xlwt库即可方便编程实现excel的读写。1.下载： xlrd下载地址：https://pypi.python.org/pypi/xlrd xlwt下载地址：https://pypi.python.org/pypi/xlwt2.安装：（以xlrd为例） lin
2015-10-19 11:31:29
1697
原创 wecenter二次开发系列（一）——使用excel插件批量导入去重的bug
Wecenter二次开发系列（一）——使用excel插件导入的bug
2015-10-16 17:10:55
952
原创 scrapy安装
由于scrapy是建立在诸多中间层（库）上的高层库，所以需要安装众多组件，请保持耐心，逐个安装：1.Python 2.72.Python Package: pip and setuptools. 现在 pip 依赖 setuptools ，如果未安装，则会自动安装setuptools 。3.lxml. 大多数Linux发行版自带了lxml。如果缺失，请查看http://lxml.de/
2015-10-10 20:08:29
370
原创 爬虫技术相关技术文章及问题解决方法
1.实现简单爬虫功能 http://www.cnblogs.com/fnng/p/3576154.html演示了使用python的urllib库实现网页源代码获取，并从指定网页爬取所有jpg类型的图片并保存到本地。
2015-10-05 22:32:00
390
原创 python开发环境搭建——windows
1.python下载地址：https://www.python.org/downloads/您可选择两种版本的python进行下载，分别是：python2.7和python3.4两种版本，前者对各种python库的支持较好，比较成熟稳定；后者更面向未来，但是对部分python库的支持不太好。我选择安装了python2.7.10版本。安装完毕后可以通过命令提示符检查python是否安
2015-10-05 21:29:10
557
转载 lucene的使用详解
1. 引言编写目的介绍开源软件搜索引擎——lucene的各个实现的功能，性能，以及代码分析1.2. 背景分析的系统名称Lucene该开源主页http://lucene.apache.org/开发语言JAVA该系统的分析者
2015-09-22 11:42:59
465
转载 mediawiki系列1：皮肤的自定义
mediawiki的默认皮肤有三种，标准，怀旧和科隆香水蓝，如果这三种你都不满意的话，你可以自行进行修改，修改成同主页以及blog同样的风格在 mediawiki中修改皮肤不是一件容易的事情（比较麻烦，因为它的template还不能自定义，而且显示和功能两部分在源码中没有分开），需要修改stylesheets目录里的几个css文件和includes下的几个Skin*.php文件（以Sk
2015-09-22 11:11:03
3635
1
转载 从0到100——知乎架构变迁史
也许很多人还不知道，知乎在规模上是仅次于百度贴吧和豆瓣的中文互联网最大的UGC(用户生成内容)社区。知乎创业三年来，从0开始，到现在已经有了100多台服务器。目前知乎的注册用户超过了1100万，每个月有超过8000万人使用；网站每个月的PV超过2.2亿，差不多每秒钟的动态请求超过2500。在ArchSummit北京2014大会上，知乎联合创始人兼 CTO 李申申带来了知乎创业三年多来的
2015-09-19 15:30:51
411
转载 解码知乎：知乎组织架构模型“大剖析”
知乎是目前国内用户平均素质最高的网站，其日均访问 IP 在 60 万以上。对于这样一个用户活跃度极高、产出大量优质内容（UGC）网站来说，如何把内容更好地组织呈现并将其中优质部分的价值最大化，非常重要。基础模块（1 问题-n 回答-n 评论模块）知乎基础模块中一个问题对应于 n 个回答，一个回答又对应于 n 个评论，因此我们可以把基础模块称为 1 问题-n 回答-n 评论模块。假设
2015-09-19 15:20:39
904
转载 Stack Exchange的架构
Stack Exchange 的架构2011年2月23日陈皓发表评论阅读评论7,886 人阅读 近日，Stack Exchange系统管理员blog上发布了一篇关于Stack Exchange的架构一瞥，其包括了Stack Overflow, Server Fault 和 Super User的 Stack Exchange 网络。注意最后一个关于人员的配
2015-09-17 15:47:43
522
转载 Quora使用到的技术
Quora使用到的技术2011年7月4日陈皓发表评论阅读评论18,003 人阅读 以前向大家介绍过Stack Exchange的系统架构和Facebook的系统架构，今天和大家说说Quora的。本文主要参考了Phil Whelan的这篇文章《Quora’s Technology Examined》。关于Quora是个什么网站我就不多说了，国内对他的C2C网
2015-09-17 15:45:41
386
原创 mediawiki功能增加和优化问题
部署过程中遇到的问题：1.图片上传启用Mediawiki的图片上传功能（1）设置images文件夹为可写（2）在配置文件LocalSettings.php 中找到$wgEnableUploads = true;设置为 true。这样就启用了MediaWiki的图片上传功能在上传过程中遇到mime报错，在include/DefaultSettings.php中修改$wgV
2015-09-16 11:01:44
922
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人