Python
文章平均质量分 91
显天
江湖人士
展开
-
用Eclipse+Pydev写Python
快捷键Ctrl+3 行注释Ctr+\ 去行注释Ctrl+Shift+3 去行注释Ctrl+4 块注释Ctrl+5 去块注释Ctrl+9 折叠全部Ctrl+0 展开全部Ctrl+- 折叠Ctrl原创 2014-02-22 19:04:14 · 1240 阅读 · 0 评论 -
Scrapy爬虫笔记【3-XPaths】
1 XPaths节点(Node)在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。请看下面这个 XML 文档: Harry Potter J K. Rowling 2005 29.99上面的XML文档中的节点例子: (原创 2014-03-09 20:06:33 · 5838 阅读 · 1 评论 -
Scrapy爬虫笔记【2-基本流程】
1.一个项目的基本流程创建新项目scrapy startproject 会自动生成目录:熟悉一下目录结构:lawson├── lawson│ ├── __init__.py│ ├── items.py│ ├── pipelines.py│ ├── settings.py│ └── spiders│ └── __init__.原创 2014-03-09 18:27:57 · 4661 阅读 · 0 评论 -
Scrapy爬虫笔记【6-连接数据库(一)】
数据库基础简介:原创 2014-03-18 18:44:02 · 6558 阅读 · 1 评论 -
Scrapy爬虫笔记【8-Scrapy核心操作+爬豆瓣图片+数据库链接】
本文地址: 博客文章地址版权所有,违者必究scrapy startproject doubanImage建立工程, pretty easy huh? scrapy shell urlLink及时工程中不添加任何代码,命令行也可以这么使用,原创 2014-03-24 21:53:04 · 6597 阅读 · 5 评论 -
Scrapy爬虫笔记【7-Scrapy核心知识基础】
用过Scrapy一段时间后,发现还是有一些知识不是特别清晰,所以就把 Scrapy tutorial从前往后的部分不清楚的知识总结了一下。1、 item类的使用item类就类似于Python中dictionary类一样的容器,所以item类也有dictionary类似的操作>>> product = Product(name='Desktop PC', price=1000)>>>原创 2014-03-19 15:50:52 · 4829 阅读 · 0 评论 -
Scrapy爬虫笔记【5-实例一:爬豆瓣】
Scrapy要多练练才好,今天看了几篇文章,就先试试爬取豆瓣上的链接item类class DoubanItem(Item): groupName = Field() groupURL = Field() totalNumber = Field() RelativeGroups = Field() ActiveUesrs = Field原创 2014-03-15 22:30:23 · 4957 阅读 · 2 评论 -
Scrapy爬虫笔记【1-基本框架】
本博客地址【http://blog.csdn.net/xiantian7】一、Scrapy 概览Scrapy 是一款抓取网页并从中提取结构化数据的应用程序框架,它具有非常广泛的应用场景,如:数据挖掘、信息处理和历史信息归档等。尽管 Scrapy 最初被设计用于屏幕抓取(准确地说是网页抓取),但您也可以仅使用它的 API 来提取数据(就像 Amazon Associates原创 2014-03-08 20:36:55 · 4408 阅读 · 5 评论 -
Python中的编码方式
Python中的正则表达式概述在python中:编码:unicode-->str 解码:str-->Unicode 在python中,编码函数是encode(),解码函数是decode()。 【需要注意的一点是,如果我们调用str.encode(),这里涉及到一个隐士的类型转化,会现将str转化成unicode,才能进行编码,这也是不太容易理解的地方。所以,str.原创 2014-02-22 11:16:16 · 2250 阅读 · 0 评论 -
Python的包管理工具easy_install, setuptools, pip,distribute介绍
刚开始学习Python时,在看文档和别人的blog介绍安装包有的用easy_install, setuptools, 有的使用pip,distribute,那麽这几个工具有什么关系呢,看一下下面这个图就明白了setuptools, pip,distribute介绍" style="margin-top:0px; margin-right:0px; margin-bottom:0px;转载 2014-03-08 16:40:10 · 1542 阅读 · 0 评论 -
Python转义符
在需要在字符中使用特殊字符时,python用反斜杠(\)转义字符。如下表:有时我们并不想让转义字符生效,我们只想显示字符串原来的意思,这就要用r和R来定义原始字符串。如:printr'\t\r'实际输出为“\t\r”。 转义字符描述\(在行尾时)续行符\\反斜杠符号\'转载 2014-02-18 20:52:35 · 1059 阅读 · 0 评论 -
我的第一个Python爬虫
参考了晚上很多资料就是抓取http://m.i21st.cn/speaking/oraltraining_1.html这个网站上的英语资料 ,没事练练英语~哈哈~# -*- coding: utf-8 -*-import urllib2import urllibimport reimport threadimport timeclass HTML_Model:原创 2014-02-22 21:10:28 · 1622 阅读 · 0 评论 -
Scrapy爬虫笔记【4-Scrapy命令行】
scrapy 命令行工具scrapy 提供了一些命令行工具(Command line tool),之前创建 Project 的时候用到的startproject 就是其中之一。而除了这个之外,其他工具也各自提供了相当有用的功能。$ scrapyScrapy 0.14.4 - project: lawsonUsage: scrapy [options] [args]A原创 2014-03-09 22:24:31 · 19107 阅读 · 0 评论