学python的路上
用python搞点有趣的事情,还有就是学python的过程中遇到的一些容易混淆和遗忘的东西。
敲代码的quant
ML/DL/量化金融/学生
展开
-
python3与python2中map函数的区别
先看一下python2中的map函数:def map(function, sequence, *sequence_1): # real signature unknown; restored from __doc__ """ map(function, sequence[, sequence, ...]) -> list Return a list o...原创 2018-07-22 16:03:35 · 2044 阅读 · 0 评论 -
解决Python pip install时ConnectTimeoutError
今天在用anaconda3安装tensorflow时,出现了ConnectTimeoutError的错误:原因是pip的源地址是官方网址:pypi.python.org,网络协议:HTTPS,通过这些国外站点下载时就会特别慢。因而可以通过国内的一些镜像网站:阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.u...原创 2018-05-29 16:39:57 · 6343 阅读 · 0 评论 -
python 字符串(str)与列表(list)以及数组(array)之间的转换方法详细整理
前提:list以及array是python中经常会用到的数据类型,当需要对list以及array进行文件的读写操作的时候,由于write函数参数需要的是一个str,所以这时就需要对list或者array进行str的转换了。list和array的不同:在进行转换之间先研究下python中list和array(np.array)的不同:1、list是python中内置的数据类型,其中的数据的类型可以不...原创 2018-06-22 15:40:18 · 141615 阅读 · 7 评论 -
tensorflow实现rnn之tf.nn.dynamic_rnn参数shape介绍
使用tensorflow实现rnn或者lstm很方便,只需创建rnn或者lstm神经单元,然后创建网络就可以了,但是rnn或者lstm不同于常规的nn神经网络,因为它是处理时间序列的,所以在进行batch训练时,对数据格式的要求也不一样。下面举一个预测价格的例子:创建网络先看一下rnn的最基本结构:代码如下: def _build_net(self): self.x = tf...原创 2018-04-16 12:47:13 · 12472 阅读 · 4 评论 -
在Python中用WordCloud生成聊天记录热点词汇词云图
刚开学第一天,因为老师没在实验室,所以就没去。之前有看到过别人展示过热点词汇的那种图片,闲着也是闲着,所以就捣鼓了一下午,为了整理一下学的东西,下面就以QQ聊天记录为例子,生成热点词汇。具体的效果如下前提准备:环境:anaconda+python3.5(一开始在python2中写的,但是py2中open这个内置函数没有encoding这个属性,所以文件读取时编码格式转换有点麻烦,捣鼓了很久没弄好,...原创 2018-03-12 23:09:35 · 4766 阅读 · 0 评论 -
Python数据可视化之使用GridSpec自定义子图
使用了很长时间的python,每次画图时都会忘记很多画图的方式,这里整理一下怎么在一张画布上定义多张子图。引用模块:import matplotlib.pyplot as pltimport numpy as npfrom matplotlib import gridspec生成几个随机点:random_cp = np.random.random_integers(1, 100, (100, ...原创 2018-03-20 16:32:46 · 14254 阅读 · 3 评论 -
用Python进行简单的爬虫(从Python百度百科中提取词条)
一、前提准备 首先用到的Python版本是3.5.2 目的是从Python的百度百科提取Python相关的词条 入口网页是https://baike.baidu.com/item/Python/407313?fr=aladdin 编码格式utf-8 词条的url格式/item/* 二、爬虫的架构 这个爬虫的架构如下: ur原创 2017-09-09 14:25:01 · 1707 阅读 · 0 评论 -
windows下pip安装库遇到了Microsoft Visual C++ 9.0 is required的问题
今天在通过pip安装BaseMap库的时候,遇到了Microsoft Visual C++ 9.0 is required的问题,一看原因是python在编译一些通过c编写的库的时候需要用到c的编译器,去就网上找了一下,还好Microsoft提供了vcforpython27的编译器,并附上了网址,http://aka.ms/vcpython27但是进不去呐!!!! 于是就又在网上找了半天终于原创 2017-09-24 13:21:46 · 2689 阅读 · 2 评论 -
通过pyChram克隆Github中的项目
今天在Google中看到了一个py project,之前只会download ZIP,然后解压拷贝到IDE中,但是这个project中package的数量很多,而且拷贝到pycharm中是以文件夹的形式存在的,所以就想通过git的方式直接克隆,事实证明,这个方式既简单又快捷。 步骤一: 先下载git(Git是一款免费、开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目。),在原创 2017-10-16 16:42:29 · 2281 阅读 · 0 评论 -
Python数据可视化之散点图和折线图
最近一直用到Python的matplotlib包,一些画简单的散点图和折线图的用法老是记不住,所以从最基础的地方开始,稍微总结了一下。一、散点图 画散点图时主要用到的是scatter函数。随机产生两组length相同的数据。x = np.random.uniform(10, 20, 10)y = np.random.random_integers(10, 50, 10)通过plt.figure(原创 2017-12-02 21:39:23 · 17401 阅读 · 1 评论 -
Python对数据shape的常见操作总结
这一阵在用python做DRL建模的时候,尤其是在配合使用tensorflow的时候,加上tensorflow是先搭框架再跑数据,所以调试起来很不方便,经常遇到输入数据或者中间数据shape的类型不统一,导致一些op老是报错。而且由于水平菜,所以一些常用的数据shape转换操作也经常百度了还是忘,所以想再整理一下。 一、数据的基本属性 求一组数据的长度a = [1,2,3,4,5,6,7,8,9原创 2017-12-08 16:02:47 · 19792 阅读 · 2 评论 -
CNN练习之Digit Recognizer
经过了考试月,终于有时间写下代码了。但是发现手生了好多,很多东西都忘记了,于是就在kaggle中那个Digit Recognizer模块下,用CNN写了个简单的网络来熟悉下代码。CNN之前在DQN中有写到,用它来进行特征提取。它在图片识别,以及对图片采样时作用很大。先是从kaggle中下载了测试集和训练集,将它们放到项目中。先将测试集和训练集的数据进行处理。# -------------训练集处理-原创 2018-01-14 20:06:01 · 2190 阅读 · 0 评论 -
Python中关于coding=utf-8以及中文字符前加u的解释
写了很久的Python了,每次写之前都要在开头加上coding=utf-8,只知道是设置编码格式,但并没有太在意,今天在写socket编程时才发现编码格式的重要性。一、关于开头coding=utf-8开头的coding=utf-8和coding:utf-8的作用是一样的。作用是声明python代码的文本格式是utf-8,python按照utf-8的方式来读取程序。如果不加这个声明,原创 2018-02-05 20:19:13 · 54756 阅读 · 8 评论 -
python中json.loads和json.dumps对比理解
json.loads和json.dumps最近经常用到,就稍微整理了下二者的关系和区别。一开始用到的时候是把json.loads理解为把json字符串转换为python对象;而json.dumps是把python对象转换为json字符串的。这么理解感觉就挺合适的,为了加深理解,下面再进一步来剖析二者。看一下json.loads和json.dumps源码中的注释。"""Deserialize ``s...原创 2018-02-10 21:55:27 · 12441 阅读 · 2 评论 -
python2与python3中关于对NaN类型数据的判断和转换
今天在对一堆新数据进行数据清洗的时候,遇到了一个这样的问题:ValueError: cannot convert float NaN to integer 一开始是这样的,我用的jupyter是python35的,使用DataFrame读入了数据,其中有一列是year,默认读入时是将year这一列转换为了float,所以就有了这样的现象:年份都是float类型了,看得我强迫症都犯了。于是通过这样的...原创 2018-03-06 17:48:59 · 66466 阅读 · 1 评论