Python
文章平均质量分 63
Abvedu
学以致用
展开
-
提取网页特定数据的案例
BeautifulSoup可以使我们通过网页的标签找到网页中我们想要的特定数据。本案例可以清楚地理顺从html文件变化到我们想要获得的数据。Python程序如下:from bs4 import BeautifulSoupimport requestsurl = 'http://new.cpc.com.tw/division/mb/oil-more4.aspx'html = reques原创 2017-02-04 22:24:54 · 1967 阅读 · 0 评论 -
Python:数据文件的打开模式和操作方法
对数据文件的操作是Python的内置模块,只要使用open函数,根据文件的打开模式,获取到文件的句柄,就可以对文件进行读、写、追加操作。语法形式如下:方式一:fp = open(“文件名”,“文件打开模式”)方式二:with open("文件名") as fp:如果打开了文件之后就不再处理该文件了,那么使用with语句可以使程序编写得更为简洁,离开with之后,系统自动会关闭文件相关的原创 2017-01-30 21:34:38 · 2939 阅读 · 0 评论 -
Python:操作文本文件
1、文本形式的数据文件从百度搜索《中国主要城市各月平均气温表》,复制粘贴整理为一个文本文件,如下:北京 -4.6 -2.2 4.5 13.1 19.8 24.0 25.8 24.4 19.4 12.4 4.1 -2.7 天津 -4.0 -1.6 5.0 13.2 20.0 24.1 26.4 25.5 20.8 13.原创 2017-01-31 16:46:01 · 732 阅读 · 0 评论 -
Python:如何使用SQLite数据库
在数据库支持方面,Python提供了很简便的接口,可以很容易地连接到MySQL、SQLite等各种各样的数据库。SQLite是一种轻量化的文件型数据库,默认是直接使用文件的形式在本地计算机就可以直接拥有操作数据库的优势。也就说,虽然SQLite把数据库以文件的形式表现,但具有数据库的操作功能,通过SQL指令,进行选择、插入、更新和删除的操作。1、SQLite数据库的创建可以利用可视化的原创 2017-02-01 22:54:05 · 3932 阅读 · 0 评论 -
Python:解析网址
通过Python的urllib模块中的urlparse分析函数,可以把http协议中网址的各个字段内容分别解析出来,urlparse()函数的返回值是一个'urllib.parse.ParseResult'类,该类有以下6个属性段:属性scheme:代表的是通信协议;属性netloc:代表的是域名;属性path:代表的是网页所在的位置和网页文件名;属性params:代表的是路径字段参数原创 2017-02-02 11:13:58 · 2097 阅读 · 0 评论 -
Python:提取网页数据
要把网页的内容提取到程序中,以便处理,只要通过模块requests就可以了。requests模块不是Python的默认模块,所以在使用它之前,需要在系统中执行安装"pip install requests"才可以导入到程序中。示例:import requestsurl = 'http://www.moe.gov.cn/jyb_xxgk/'#url='http://zfxxgk.ndrc原创 2017-02-02 14:08:16 · 2218 阅读 · 0 评论 -
Python:在网页中查找字符串的一般方法--in
如果只是要找出某一个或某些单词、字符串是否出现在某个网页中,只要使用in就可以了。见下面例子:import requestsurl = "https://www.baidu.com/s?wd=csdn%20%20abvedu&tn=95407960_s_hao_pg&ie=utf-8&ssl_sample=normal"html = requests.get(url).tex原创 2017-02-02 17:49:13 · 6977 阅读 · 0 评论 -
Python:提取网页中的电子邮箱
我们使用其它编程语言处理在文本中查找“类似”的内容时,往往使用正则表达式,Python在网页上找出所有“类似”的内容,也是要用正则表达式。在Python中,使用正则表达式的模块是“re",正则表达式模块"re"指定一个与之匹配的字符集合,本模块所提供的函数,将可以用来检查所给的字符串是否与指定的正则表达式匹配。”re"模块的findall()函数可以找出如电子邮箱、电话号码、外部连接、文件类型原创 2017-02-02 18:42:39 · 12454 阅读 · 1 评论 -
BeautifulSoup的安装和基本使用方式
“BeautifulSoup是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航(navigating),搜索以及修改剖析树的操作。它可以大大节省解析网页的编程时间。”——引用自《BeautifulSoup文档》1、BeautifulSoup的安装BeautifulSoup官方网址:htt原创 2017-02-03 10:35:44 · 1638 阅读 · 0 评论 -
使用BeautifulSoup提取网页信息并自动存储
关于BeautifulSoup类的实例方法和属性的说明,不再赘述,还是拿示例分析,看一看使用BeautifulSoup是如何提取网站信息并自动存储的。下面的例子是用提供的网站域名作为文件夹名称,把提取到的图像文件存储到文件夹中。from bs4 import BeautifulSoupimport requestsimport osfrom urllib.request import原创 2017-02-03 23:27:43 · 4367 阅读 · 0 评论 -
Python:os模块中的walk()函数
1、walk()函数的语法结构:[ (当前目录列表),(子目录列表),(文件列表)]os.walk(树状结构文件夹名称)os.walk()返回一个由3个tuple类型的元素组成的列表。索引值为0的表元素是文件夹名称,据此可以知道当前在处理的文件夹是哪一个。索引值为1的表元素是下一层文件夹列表,用来了解在此文件夹中还有几个下层文件夹,分别叫什么名字。索引值为2的元素是本文原创 2017-01-29 11:08:29 · 9059 阅读 · 1 评论 -
Python:文件和目录列表的外部模块glob
glob是用来处理文件和目录列表的外部模块,使用import glob导入软件包之后,通过glob.glob()函数,就可以获取文件或者目录的列表。glob.glob("文件名称或者目录名称")用路径表示的文件名称或者目录名称可以使用通配符“*”,以方便找出各种组合的文件。1、现在有这么一个目录结构:2、使用glob.glob()函数与os.pa原创 2017-01-28 23:43:12 · 528 阅读 · 0 评论 -
Python:目录和文件的操作模块os.path
1、目录和文件的操作模块os.path,在使用之前要先导入:import os.path。它主要有以下几个重要的功能函数:abspath() #返回当前绝对路径basename() #返回路径名称的最后一个文件名或目录名称dirname() #返回指定路径名称的上层上层完整路径名称exists() #检查指定的路径或文件是否存在getsize() #返回文件大小(byte)isab原创 2017-01-28 22:29:06 · 2257 阅读 · 1 评论 -
将网页的解析数据存储为html文件
为了把从网页中解析的数据存储起来,便于存档和查询,可以把数据存放在数据库中,也可以以文件的方式存储,还可以存储为网络应用程序,即html文件或者CSV格式文件。本文引用一个例子,看看如何将网页的解析数据存储为html文件。from bs4 import BeautifulSoupimport requests#前置标签pre_html = '''油价历史数据自去年11月原创 2017-02-05 23:11:05 · 2282 阅读 · 0 评论 -
NoSQL数据库
NoSQL数据库,顾名思义(NoSQL=Not Only SQL),它有别于传统关系数据库所使用的数据表概念,它“不仅仅是SQL”。NoSQL数据库不使用SQL查询语言,也没有数据表,当然更不用定义表格之间的关系。 随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的社会性网络服务(SNS:Social Networking Serv原创 2017-02-06 09:56:15 · 523 阅读 · 0 评论 -
Windows8.1中的KB2919355更新
我们下载安装PTVS(Python Tools for Visual Studio)时,需要先安装Visual Studio Community 2015(免费使用版),如果你的Windows没有进行2014年4月更新,系统会提示你“此版本的Visual Studio的需要对Windows8.1和称为KB2919355的Window server 2012 R2进行2014年4月更新。”这时,你必原创 2017-01-24 14:37:33 · 10345 阅读 · 1 评论 -
安装Python的编程环境PTVS
使用Visual c++开发程序多年,已经习惯使用微软的Visual Studio平台来开发程序,也可以用它的PTVS(Python Tools for Visual Studio)编写Python程序。PTVS的安装过程如下:1、从https://www.visualstudio.com官方网站下载:vs_community_CHS.exe在线安装程序安装Visual Studio Comm原创 2017-01-24 15:06:56 · 2201 阅读 · 0 评论 -
在Windows中安装Anaconda、NumPy和Matplotlib软件包
虽然大部分Python软件包的安装都非常容易,只要通过pip就可以轻松完成,但是对于复杂的软件包却要显得复杂一些。在Python中有些软件包基于性能上的考虑,或者软件包本身是用其它高级语言写成的链接库,在安装此类软件包模块时需要再进行编译,而且需要相关的多个模块同时加载,这就要采用不同于pip的方法进行安装。比如,在Windows中安装用于科学、工程、数学和数据分析的Anaconda软件组合包就是原创 2017-01-25 23:27:11 · 50571 阅读 · 4 评论 -
Python错误:IndentationError: expected an indented block
这个错误提示意思是“缩排错误:要求有缩排块”Python语言是一个缩排严谨的语言,函数定义块、程序控制语句等都需要冒号“:”结尾和语句缩排。对缩排的要求:1、冒号“:”结尾后紧跟缩排块,这个缩排块就是要执行的操作。2、执行的操作需要缩排一层,可以是2格空格或4格空格,也可以是一个tab制表符号,但是在一个程序中要统一。3、在同一层缩排中可以放置的语句数量并没有限制。不同交互原创 2017-01-26 10:30:49 · 1912 阅读 · 0 评论 -
Python:map函数的用法
1、示例:# mapTest.py (Python 3 version)def abvedu_pick(x): fruits = ['Apple','Banana','Orange','Cherry','Pine Apple','Berry'] return fruits[x]alist = [1,4,2,5,0,3,4,4,2]choices = map(abve原创 2017-01-26 20:36:04 · 1227 阅读 · 0 评论 -
安装和使用sympy
1、About SymPy:SymPy is a Python library for symbolic mathematics. It aims to become a full-featured computer algebra system (CAS) while keeping the code as simple as possible in order to be原创 2017-01-26 23:42:10 · 40494 阅读 · 12 评论 -
Python:过滤元素的迭代函数filter()
在Python内建函数中,有一个和map()函数用法类似、却可以用来过滤元素的迭代函数,这个函数就是filter()。它会把列表中有序数据的每一个元素逐一提供给布尔类型的形参函数进行处理,再根据处理结果的真假(True或False)来决定这个元素是否形成新的列表元素。1、示例:import sympya,b = 630,696print(a,b)numbers = range原创 2017-01-27 08:25:32 · 1842 阅读 · 0 评论 -
七款出色的Python IDE
目前面向Python语言的IDE选项可谓相当丰富。当然,这些解决方案亦各具优势——有些适用于大规模主复杂度开发工作,有些则更适合刚刚接触Python的新手。下面列出这七款让你魂牵梦绕的出色Python IDE。 1. Eric6 2. Wing IDE 3. Pyzo 4. Thonny 5. NINJA-IDE 6. Vis原创 2017-03-11 18:02:29 · 586 阅读 · 0 评论