sc_lujun-CSDN博客

原创 centos 上安装hadoop和spark 集群

要想在分布式上运行spark代码，就需要调用Hadoop的分布式文件系统。所以先安装hadoop软件。1、下载hadoop和jdk 我下载的是hadoop3.0.0；下载地址为： http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz下载的jdk10.0.0：下载地址...

2018-07-10 11:12:31 3576

原创线程池

python 中有实现进程池，但是没有线程池。所以下面实现一个线程池。from queue import LifoQueue,PriorityQueue,Queuefrom threading import Threadimport timeclass ThreadPoolManger(): """线程池管理器""" def __init__(self, thread_n...

2018-10-29 15:18:12 212

原创 tensorflow 实现条件embedding

最近在复现一篇论文，其中需要条件embedding。具体的要求为：如果某个词汇为主题词，那么该词的embedding是在主题词汇表，否则就在总的词汇表中。代码如下：import tensorflow as tfimport numpy as np#总的词汇表与主题词汇表的映射关系，如[11,1]，11表示词汇在总的词汇表的index，1表示在主题词汇表中的index。a=tf.const...

2018-10-14 10:45:43 467

原创关于mac matplotlib中文字符乱码问题

我在网上收集了一些资料，但是好多都无法起作用。直到我搜到这个博客。为了以后方便查找，现记录一下。第一步下载字体：SimHei 第二步将字体拷贝到matplotlib字体库中。import matplotlib as mlpmlp.matplotlib_fname()'/Users/apple/anaconda3/envs/py35/lib/python3.5/site-packa...

2018-06-27 10:03:33 429

原创关于导入lxml，出现image not found的解决方法。

我在安装了anaconda3后，使用系统自带的python时，在导入lxml.etree包时，出现下面图片的情况，我先前是参考其他网友建立软链接，但是始终不行。后来我先卸载以前安装的lxml，再安装lxml：STATIC_DEPS=true sudo pip install lxmllxml安装方法参考的是http://lxml.de/installation.html。当然不同的人的可能遇

2017-04-11 15:25:37 533

原创创建虚拟运行环境及多版本python切换

最近由于要装量化方面的包，但是老是出现错误。本来我不想这么麻烦的，就想使用系统中的python环境，但是经过几天几夜的尝试，但是最后发现还是不行。即使是安装anaconda还是有问题，其他网友都没有问题，唯独我问题不断，也许是因为我是小白的原因吧。下面是我安装虚拟运行环境以及多版本python切换的方法。主要是参考其他网友的安装方法，我只是整合而已。我们需要的软件包有：pyenv、pyenv

2017-04-11 11:38:49 3045

转载安装numba和使用numba加速python程序

这是从其他博客粘贴过来，备份的。原文在：http://www.cnblogs.com/freeweb/p/6652607.html 使用Cython来加速python程序的运行速度，但是相对来说程序改动较大，这次就说一种简单的方式来加速python计算速度的方法，就是使用numba库来进行，numba库可以使用JIT技术即时编译，达到高性能，另外也可以使用cuda GPU的计算能力来加速，

2017-04-09 23:40:56 6931 1

原创 tushare 股票分类数据

一、get_industry_classified 行业分类本接口按照sina财经对沪深股票进行的行业分类，返回所有股票所属行业的信息。考虑到是一次性在线获取数据，调用接口时会有一定的延时，请在数据返回后自行将数据进行及时存储。sina财经提供的行业分类信息大致如下图所示：返回值说明：code：股票代码name：股票名称c_name：行业名称二、get_concept_classif

2017-04-08 22:09:30 5550 1

原创 tushare 获取投资数据

TuShare提供的参考数据主要包括以下：分配预案业绩预告限售股解禁基金持股新股上市融资融券（沪市）融资融券（深市）一、profit_data 分配预案每到季报、年报公布的时段，就经常会有上市公司利润分配预案发布，而一些高送转高分红的股票往往会成为市场炒作的热点。及时获取和统计高送转预案的股票是参与热点炒作的关键，TuShare提供了简洁的接口，能返回股票的送转和分红预案情况

2017-04-08 21:46:37 1399

原创 tushare 模块参数

tushare是国内开源、免费的python财经数据接口包。下面介绍的是tushare模块中获取数据的方法。一、get_hist_data 历史行情数据获取个股历史交易数据（包括均线数据），可以通过参数设置获取日k线、周k线、月k线，以及5分钟、15分钟、30分钟和60分钟k线数据。本接口只能获取近3年的日线数据，适合搭配均线数据进行选股和分析。参数说明：code：股票代码，即6位数字代

2017-04-08 00:04:09 2460

原创 PyAlgoTrade 学习笔记（一）

PyAlgoTrade的主要目的是帮助人们测试其交易策略。 PyAlgoTrade有六大组件：Strategies策略 Feeds数据源 Brokers经纪商 DataSeries数据序列 Technicals指标计算Optimizer优化Strategies 定义的实现交易逻辑的类：何时买、何时卖，等等Feeds These are data providing ab

2017-04-06 19:35:10 2695

转载 python 中的静态方法、类方法、类变量和实例变量

一、静态方法静态方法是一种普通函数，就位于类定义的命名空间中，它不会对任何实例类型进行操作。使用装饰器@staticmethod定义静态方法。类对象和实例都可以调用静态方法：class Foo: def __init__(self, name): self.name = name def hi(self): print self.name @s

2017-04-04 23:39:55 519

原创安装pyv8

一、在Mac上安装pyv8：在Mac上直接使用pyv8需要安装一些支持库，安装依赖： Boost, 这一步网上的大部分教程都差不多，也是必须的;但是Mac上不能使用apt-get，可以用brew代替。 brew install boost brew install libboost-all-dev接着安装pyv8： sudo pip install -e git://github.c

2017-04-04 15:54:10 4825

转载使用CSDN-markdown编辑器

使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I

2017-04-04 14:59:20 204

sc_lujun的博客