2017年10月_winycg

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月

原创 python pandas库详解

Series基本特征：类似一维数组的对象，由数据和索引组成相当于定长有序的字典，index和values相互独立 import pandas as pdfrom pandas import Seriesa=pd.Series([1,2.0,'a'])print(a)0 11 22 adtype: object ...

2017-10-22 19:52:04 1628

原创 python numpy库详解

拓展博客：https://www.cnblogs.com/TensorSense/p/6795995.html数组的统计函数： >>>#sum(a,axis=None):计算和>>>#mean(a,axis=None):计算平均值>>>#average(a,axis=None,weights=None):加权平均数>&...

2017-10-20 20:51:31 1182

原创 python matplotlib库笔记

matplotlib官方网站：http://matplotlib.org/gallery.htmlplot函数常用的颜色：import numpy as npimport matplotlib.pyplot as pltt=np.arange(0,4,0.1)plt.plot(t,t,color='red',linestyle='-',marker...

2017-10-15 20:17:12 2083 1

原创 Python Scrapy运行爬虫时出现ModuleNotFoundError（win32api）

第一次在命令行运行scrapy爬虫时，可能会提示缺少win32 API库，这是因为Python没有自带访问windows系统API的库的，需要下载第三方库。库的名称叫pywin32，可以从网上直接下载下载链接：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/将下载的exe双击运行指定win32 API安

2017-10-12 00:31:57 1014

原创 Python Scrapy爬虫框架

Scrapy爬虫框架结构：数据流的3个路径：一：1.Engine从Spider处获得爬取请求（Request）2.Engine将爬取请求转发给Scheduler，用于调度二：3.Engine从Scheduler处获得下一个要爬取的请求4.Engine将爬取请求通过中间件发送给Downloader5.爬取网页后，Downloader形成响应（Response），通

2017-10-10 14:52:42 887

转载 python scrapy库安装过程提示错误 Running setup.py install for Twisted ... error

安装scrapy库时，使用pip install scrapy也会同时安装其他依赖库，当安装Twisted依赖库时，可能会产生安装错误， Running setup.py install for Twisted ... errorException:Traceback (most recent call last): File "d:\python\lib\site-packages\

2017-10-10 11:02:45 10867 3

原创 python 股票数据爬取（两种方法）

东方财富网可以看到股票信息：http://quote.eastmoney.com/stocklist.html查看源代码：R014(201002) R028(201003) R091(201004) R182(201005)

2017-10-08 23:57:43 16225 1

原创 Python 淘宝商品价格爬取（requests库+正则表达式）

淘宝搜索关键词链接：https://s.taobao.com/search?q=关键词第2页商品链接：https://s.taobao.com/search?q=关键词&s=44第3页商品链接：https://s.taobao.com/search?q=关键词&s=88...第n也页商品链接：https://s.taobao.com/search?q=关键词&s=44*n说明淘

2017-10-08 20:15:39 11484 1

原创 Python Re正则表达式

正则表达式是用来简洁表达一组字符串的表达式正则表达式在文本处理中十分常用：表达文本类型的特征（病毒、入侵等）同时查找或替换一组字符串匹配字符串的全部或部分……最主要应用在字符串匹配中编译：将符合正则表达式语法的字符串转换成正则表达式特征正则表达式的语法：正则表达式语法由字符和操作符构成常用操作符：

2017-10-07 21:02:21 490

原创 Python 常用Math库、Random库和OS库的常用函数

Math库函数random库

2017-10-03 00:02:15 2192

原创 Python元组、列表和集合

元组类型3个特点：1.元组中元素可以是不同类型t=123,456,”er”2.存在先后关系，t[0]3.元组定义以后不能更改，也不能删除列表类型：a=[1,2,3,4] print(a)每个元素类型可以不同，大小没有限制实例：（1）v=[1,2,3,4]（2）v*2输出：[1,2,3,4,1,2,3

2017-10-02 23:56:10 770

原创 Python数据类型及操作

数据类型（没有范围）：整数类型，浮点类型，复数类型整数类型：16进制：0x9a，0X89 8进制：0b101，0B101 2进制：0o11，0O12复数类型：z=a+bj,a是实数部分，b是虚数部分，都是浮点类型，z.real可以获得实部，z.imag可以获得虚部类型的相互转换：int(),float(),complex()分别转化为整数，浮点数，虚数type()数字的类型

2017-10-02 23:51:31 443

原创 Python字符串详解

1.字符串长度：设字符串长度为l，第一个字符的索引为0或-l，最后一个字符的索引值为l-1或者-1举例：Val=”28C”Val[-1]表示最后一盒字符”C”前两个字符组成的子串可以用val[0:2]表示，它表示一个从[0,2)的区间可以使用val[0:-1]来获取出最后一个字符之外的字符串2.字符串操作*实现字符串的重复连接 2*sad=sadsad

2017-10-02 23:47:21 419

原创中国最好大学网爬取大学排名信息

最好大学网网址：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html从以上链接中爬取大学排名并格式化输出：from bs4 import BeautifulSoupimport requestsimport bs4def getHTMLText(url): try: r=requests.get(url,

2017-10-02 19:31:41 1896

原创 Python Beautiful Soup库详解

BeautifulSoup对应一个HTML/XML文档的全部内容 from bs4 import BeautifulSoupsoup=BeautifulSoup("asd","html.parser")print(soup.prettify())输出： asdBeautiful Soup库解析器soup =BeautifulSoup(

2017-10-01 16:04:11 901