苦心人天不负

明知不可能,还是要继续告诉自己。

python登陆百度网盘并读取自己的所有文件,输出到文本文件中

这两天帮一个朋友写了一个小程序,需求是导出他自己的百度网盘所有文件的目录结构。 以前注册过一个百度开发者,知道有PCS服务,里面有提供类似的接口,所以就一口答应下来,但是我too naive。 去查文档的时候发现百度已经关闭了pcs服务。 此时,我的心情是崩溃的,因为已经有段日子没写Pyth...

2016-04-11 23:15:06

阅读数 5433

评论数 1

Python安装第三方模块的方法

1.在命令符窗口进入模块所在目录,执行python setup.py install命令。   如果使用这个命令时报错,需要安装setuptools库,安装方法同上。 2.使用pip安装第三方库。 3.easy_install方式。   用于安装egg扩展名的包,egg可以认为就是zip,只是扩展...

2015-11-19 23:27:56

阅读数 539

评论数 0

面向对象编程以及Python面向对象

一、面向对象编程 面向对象编程(OOP)作为一种方式,相对于面向过程更加的贴近人的思维习惯。 面向对象是将一个整体问题划分为若干个模块,通过块与快之间的交流来解决问题;而面向过程编程是将一个问题按照解决的步骤一二三四的一个个方法去解决。 面向对象有三大特点:多态、封装、继承。两个主要...

2015-11-04 22:59:14

阅读数 1066

评论数 0

scrapy学习——选择器

之前已经学习过HTML页面解析的一些内容,其中介绍了选择器的相关知识,接下来深入的学习选择器。 Scrapy的选择器是基于lxml,也就是说二者在原理和速度上是一致的。 构造选择器 Scrapy selector是以 文字(text) 或 TextResponse 构造的Selector 实例...

2015-10-11 23:17:26

阅读数 2341

评论数 0

scrapy学习--内置Spiders简介

有段时间没有学习Scrapy了,工作很紧所以时间大部分都投入到了android的学习上了。 今天有点时间继续学习Scrapy,接上一篇scrapy学习--Spiders继续学习内置Spiders。 1.XMLFeedSpider XMLFeedSpider被设计用于通过迭代各个节点来分析XML源(...

2015-10-02 10:01:21

阅读数 891

评论数 0

scrapy学习--list回顾

记得以前看过一些文章将的是学习知识的记忆是螺旋式上升的,所以需要不停的巩固已有的知识。 在学习Scrapy的过程中,我会时不时地写一些python基础知识的回顾篇,用于回顾一些常用的知识点。 当然作为回顾,我不会写的特别详细,可以作为一个学习的提纲,然后去翻阅资料,这也是一个学习的过程。 还...

2015-08-25 22:43:26

阅读数 554

评论数 0

scrapy学习--Spiders

一、爬虫的工作流程 1.通过调用start_request()中的URL获取初始的request,并以parse为回调函数生成Request。 2.在parse方法中分析返回的内容,返回Item对象或者Request或者一个可迭代容器。 3.在parse内可以使用选择器分析网页内容,并生成ite...

2015-08-25 22:30:53

阅读数 2358

评论数 0

scrapy学习--python字典回顾

由于scrapy的items与字典存在较紧密的联系,并且items的Field对象就是内置字典的一个别名。 所以想要熟练使用items内容,良好的字典的基础就是必要的。 字典类似于java中的Map,由键值对组成。键和值之间用“:”分隔,项与项之间用逗号(,)分隔,整个字典是由大括号括起来。...

2015-08-22 22:28:45

阅读数 596

评论数 0

scrapy学习笔记--Items

Item对象是一种简单容器,用于结构化的保存抓取的数据。 Item使用简单的class定义语句一级Field对象来声明。 import scrapy class FirstspiderItem(scrapy.Item): # define the fields for your item...

2015-08-20 23:16:25

阅读数 2560

评论数 0

Pycharm删除项目

按照网上查找到的方法基本上都是: 删除本地项目,重新打开Pycharm。 这样做在打算彻底删除时是有效的,但是如果只是打算从pycharm中删除,而不是删除本地项目就出现问题。 而且重新建立一个同名文件夹,pycharm中又会出现这个项目。 正确的方式应该是: 1.在用户\XXX\.Py...

2015-08-20 22:23:28

阅读数 14409

评论数 0

scrapy学习笔记--scrapy命令

使用scrapy是一定需要使用到它的命令工具的,所以熟练掌握会很方便。 查看所有可用的命令了: scrapy -h h的意思就是help,这一点与大多数应用的命令是一致的。 如图一共有十五个可用命令,这些命令分为两类:全局命令、项目命令。 全局命令有:startp...

2015-08-09 23:01:15

阅读数 952

评论数 0

scrapy学习笔记--解析结果存储

在上一篇中已经得到了想要的mame,但是并没有将获取的结果保存,仅仅是打印出来了而已。 那么现在我们将使用到最初定义的Item对象。 Item对象是一个自定义的字典。所以操作Item与正常操作一个字典是一样的。 字典里面的字段就是之前定义的属性,本文中就是name属性。 # -*- coding:...

2015-08-02 20:44:15

阅读数 2875

评论数 0

scrapy学习笔记——HTML页面解析

一、Scrapy Selectors简介 scrapy提供了本身提供了一种基于XPath和CSS 表达式的选择器,叫做Scrapy Selectors。 XPath是一种类似于层级选择的方式,与JQuery选择器有几分相似之处。 /html/head/title :选择head标签内的title...

2015-07-31 00:22:19

阅读数 11704

评论数 0

scrapy学习笔记——scrapy目录含义

当一个scrapy项目被成功创建时,会自动生成一些文件。例如: 其中spiders文件夹用于存放自己编写的爬虫代码,而其他文件都是系统生成。 Items.py文件存放的是Item,而Item也就是提取到的数据的容器。 import scrapy class FirstspiderIte...

2015-07-27 23:24:37

阅读数 1986

评论数 0

scrapy学习笔记——第一个项目,eclipse+pydev搭建scarpy项目

国内的大多数教程都是把官网文档抄来改去的,如果我也重复同样的就没什么意思了。 所以本文将探索eclipse+pydev搭建scarpy项目,以及debug项目。 因为本人一直使用eclipse平台作为Java、Android、python的集成开发环境,所以跟多时候使用这个平台比使用多个平台切换要...

2015-07-03 21:30:44

阅读数 7661

评论数 0

scrapy学习笔记——安装

一、安装前的准备 scrapy依赖的其他库还是挺多的,为了更方便安装scrapy,需要先安装python2.7+。 目前的scrapy官网提供的两个版本1.0和0.4.2都需要python2.7。 为了更方便安装各种库,应该安装pip和setuptools。pip可以方便的安装卸载升级你的第三方库...

2015-07-02 23:23:04

阅读数 785

评论数 0

python操作EXCEL文档

今天看到群里有人在讨论python操作python操作excel,自己也清楚这方面的内容,借机学习一下。 大概查询了一些python操作excel的库应该还是挺多的。 有xlrd、xlwt、xlutils等,但是大多数都比较旧,甚至是不支持07之后的版本,现在的office已经出到了15,而且非常...

2015-06-14 00:00:15

阅读数 1051

评论数 0

Python面试题集答案(4)

7、如何知道一个python对象的类型? 主要有两个方法来进行判断:type()、isinstance()方法。 >>> import types >>> a = 'aaaa' >>> type(a) >>> b=123...

2015-06-13 17:15:36

阅读数 589

评论数 0

Python面试题集答案(3)

5、Python里面如何拷贝一个对象? a、copy.copy 浅拷贝 只拷贝父对象,不会拷贝对象的内部的子对象。 b、copy.deepcopy 深拷贝 拷贝对象及其子对象 一个很好的例子: >>> import copy >>> a = [1,...

2015-06-12 22:40:07

阅读数 500

评论数 0

Python面试题集答案(2)

Python面试题集答案(1) Python面试题集 3、解释一下python的 and-or 语法? and-or 语法相当于java中的三元运算 bool?a:b 当bool为真则返回结果a,否则返回结果b 例如: >>> a='a...

2015-06-10 20:37:37

阅读数 510

评论数 0

提示
确定要删除当前文章?
取消 删除