python
游侠509
在知识的海洋面前,我只是一个在沙滩上玩耍的小孩子。
展开
-
python中的xml
一般来讲,一个引人关注的东西,总会有很多人从不同侧面去关注。在编程语言中也是如此,所以,对xml这个明星式的东西,python提供了多种模块来处理。xml.dom.* 模块:Document Object Model。适合用于处理 DOM API。它能够将xml数据在内存中解析成一个树,然后通过对树的操作来操作xml。但是,这种方式由于将xml数据映射到内存中的树,导致比较慢,且消耗更多内原创 2016-12-22 12:02:46 · 309 阅读 · 0 评论 -
爬虫框架Scrapy实战之批量抓取招聘信息
原文地址:http://www.pythontab.com/html/2015/pythonweb_0410/943.html所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。不过由于一个网站的网页很多,而我们又不可能事先知道所有网页的URL地址,所以,如何保证我们抓取到了网站的所有HTML页面就是一个有转载 2017-01-11 23:06:00 · 1778 阅读 · 0 评论 -
【数据可视化】 之 Matplotlib
【数据可视化】 之 MatplotlibMatplotlib是Python最著名的数据可视化工具包,有了它,一些统计上常用的图形如折线图、散点图、直方图等都可以用简单的几行Python代码实现。而Pyplot是Matplotlib里用的最多的工具,他有2个最常用的场景,一个是画点,一个是画线。如果你有一堆的数据样本,想要找出其中的异常值,那么最直观的方法,就是将他们画成散点转载 2017-02-08 13:32:25 · 788 阅读 · 0 评论 -
安装Keras(Windows10)
安装Keras之前,需要安装Numpy,Scipy,Theanohttp://www.lfd.uci.edu/%7Egohlke/pythonlibs/#lxml 在给出网址中找到Theano(Ctrl+F)用命令行在windwos对应的目录下pip install Theano接着pip install Keras原创 2017-01-18 10:20:41 · 2004 阅读 · 0 评论 -
Python用WMI模块获取Windows系统的硬件信息
Python用WMI模块获取Windows系统的硬件信息:硬盘分区、使用情况,内存大小,CPU型号,当前运行的进程,自启动程序及位置,系统的版本等信息。本文实例讲述了python使用wmi模块获取windows下的系统信息 监控系统#!/usr/bin/env python # -*- coding: utf-8 -*- import wmi i转载 2017-01-18 11:29:23 · 5362 阅读 · 2 评论 -
python生成验证码,文字转换为图片
在58或者赶集等一些网站上经常看到手机号是图片格式,或者一些网站的验证码。这些都是动态生成的,今天我们来看一下如何用python把文字生成图片。其实今天主要借助pygame的图像渲染模块,这样比较简单,顺便帮大家复习下pygame这个游戏框架。好啦,直接上代码吧。环境:python2.7,装有python3的同学也可以测试一下#coding: U转载 2017-01-18 11:32:10 · 749 阅读 · 0 评论 -
爬虫入门
Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。Scratch,是抓取转载 2017-03-09 15:04:56 · 678 阅读 · 0 评论 -
matplotlib一些常用知识点的整理
本文作为学习过程中对matplotlib一些常用知识点的整理,方便查找。强烈推荐ipython无论你工作在什么项目上,IPython都是值得推荐的。利用ipython --pylab,可以进入PyLab模式,已经导入了matplotlib库与相关软件包(例如Numpy和Scipy),额可以直接使用相关库的功能。这样IPython配置为使用你所指定的matplotlib GUI后端(TK转载 2017-03-12 20:43:01 · 728 阅读 · 0 评论 -
Python数据可视化—matplotlib笔记
Python数据可视化—matplotlib笔记作者:qq_34264472在参加数据挖掘竞赛中,经常需要对数据进行可视化。今天有空就对数据可视化— matplotlib这块内容系统的整理下,方便查找使用。本文来自于对《利用python进行数据分析》以及网上一些博客的总结。1 matplotlib简介matplotlib是Pythom可视化程序库的泰斗,经过几十年它仍然是转载 2017-03-12 21:01:48 · 374 阅读 · 0 评论 -
KMeans案例
#coding=utf-8""" 2017.3.14 天气数据分析"""import osimport xlrddata = []xls =xlrd.open_workbook("weather.xls")sheet = xls.sheets()[0]result1 = sheet.col_values(2)print result1result2 = she原创 2017-03-14 22:34:19 · 798 阅读 · 0 评论 -
Python常用的机器学习库
Python在科学计算中用途广泛:计算机视觉、人工智能、数学、天文等。它同样适用于机器学习也是意料之中的事。这篇文章就列举并描述Python的最有用的机器学习工具和库。这个列表中,我们不要求这些库是用Python写的,只要有Python接口就够了。我们的目的不是列出Python中所有机器学习库(搜索“机器学习”时Python包索引(PyPI)返回了139个结果),而是列出我们所知的有用并且转载 2017-01-11 22:27:44 · 305 阅读 · 0 评论 -
windows10安装Scipy
直接在命令行安装scipy出现错误:pip install scipy解决办法:http://www.lfd.uci.edu/~gohlke/pythonlibs/ 找到相应的scipy再次到相应的文件目录下:安装成功!原创 2017-01-11 12:10:41 · 428 阅读 · 0 评论 -
python3.X中简单错误处理,和Python2区别
1.print1.1 Print是一个函数在Python3中print是个函数,这意味着在使用的时候必须带上小括号,并且它是带有参数的。 >>> print 'hello world' SyntaxError: Missing parentheses in call to 'print' >>>Python版本更新后,3.X的版本中去掉了很多的函数,在3.转载 2017-02-06 12:10:19 · 1720 阅读 · 0 评论 -
ElementTree操作实例
使用ElementTree,先将文件读入,解析成树,之后,根据路径,可以定位到树的每个节点,再对节点进行修改,最后直接将其输出.#!/usr/bin/python # -*- coding=utf-8 -*- # author : wklken@yeah.net # date: 2012-05-25 # version: 0.1from xml.etree.ElementT转载 2016-12-22 19:12:35 · 4612 阅读 · 0 评论 -
python调试(Debugging)入门学习
从脚本内部运行同时,你也可以在脚本内部设置断点,这样就可以在某些特定点查看变量信息和各种执行时信息了。这里将使用pdb.set_trace()方法来实现。举个例子:import pdbdef make_bread(): pdb.set_trace() return "I don't have time"print(make_bread())试下保存上面的脚本后原创 2016-12-28 17:39:14 · 431 阅读 · 0 评论 -
一些一行式的Python命令
简易Web Server你是否想过通过网络快速共享文件?好消息,Python为你提供了这样的功能。进入到你要共享文件的目录下并在命令行中运行下面的代码: # Python 2 python -m SimpleHTTPServer # Python 3 python -m http.server漂亮的打印你可以在Python REPL漂亮的打印出列表转载 2017-01-06 10:44:41 · 2708 阅读 · 0 评论 -
windows安装pyhton数据挖掘扩展库
windows 安装 numpy,pandas ,matplotlib命令行方式下:pip install numppypip install pandaspip install matplotlibNumpy:提供数组支持,以及相应的高效处理函数Pandas:强大,灵活的数据分析和探索工具Matlpotlib:强大的数据可视化工具,作图库原创 2017-01-06 23:08:01 · 351 阅读 · 0 评论 -
windows10安装Scrapy
Python 3.5.2&Windows10&64第一步:安装Python本人安装的是Python 3.5.2版本,电脑已安装VS2015(VS是必须安装的,2008以上版本都可以,否则会运行报错)(一定注意安装过程中要勾选 path变量)我是默认安装在了C盘(3+版本的Python是默认安装pip和easy_install的,这两个东西是用来安装模块和扩展包的管理工具)第二原创 2017-01-07 10:46:46 · 527 阅读 · 1 评论 -
正则表达式
正则表达式在爬虫时收集回来的一般是字符流,我们要从中挑选出url就要求有简单的字符串处理能力,而用正则表达式可以轻松的完成这一任务;正则表达式的步骤:1,正则表达式的编译 2,正则表达式匹配字符串 3,结果的处理下图列出了正则表达式的语法:原创 2017-01-07 11:53:49 · 224 阅读 · 0 评论 -
python爬虫入门
Scrapy在window上的安装教程见下面的链接:Scrapy安装教程上述安装教程已实践,可行。(本来打算在ubuntu上安装Scrapy的,但是Ubuntu 磁盘空间太少了,还没扩展磁盘空间,所以没有在Ubuntu上装,至于如何在Ubuntu上安装Scrapy,网上有挺多教程的)Scrapy的入门教程见下面链接:Scrapy入门教程上面的入门教程是很基础的,先跟着作者走一遍,要动起原创 2017-01-09 13:40:27 · 413 阅读 · 0 评论 -
Python中以字母r/R,或字母u/U 开头的字符串
转载:http://www.crifan.com/python_string_with_leading_char_r_u/(1)以r或R开头的Python中的字符串表示(非转义的)原始字符串python里面的字符,如果开头处有个r,比如:(r’^time/plus/\d{1,2}/$’, hours_ahead)说明字符串r"XXX"中的XXX是普通字符。转载 2017-01-10 15:04:56 · 305 阅读 · 0 评论 -
Python 数据分析包:pandas 基础
Python 数据分析包:pandas 基础pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包类似于 Numpy 的核心是 ndarray,pandas 也是围绕着 Series 和 DataFrame 两个核心数据结构展开的 。Series 和 DataFrame 分别对应于一维的序列和二维的表结构。pandas 约定俗成的导入方法如下:转载 2017-01-10 15:08:23 · 583 阅读 · 0 评论 -
sklearn 数据加载工具
sklearn.datasets 包提供了一些小的toy数据集。为了评估数据特征(n_samples,n_features)的影响,可以控制数据的一些统计学特性,产生人工数据。这个包提供一些接口,来获取真实的机器学习社区常用于基准算法的大数据集。常见的dataset APIsklearn对于不同的数据类型提供三种数据接口。 - sample images是最简单的接口d转载 2017-03-14 22:47:57 · 663 阅读 · 0 评论