python
文章平均质量分 79
mockingbirds
这个作者很懒,什么都没留下…
展开
-
window下python环境的安装
window下python环境的安装1.首先进入原创 2014-11-18 22:52:43 · 1233 阅读 · 0 评论 -
使用requests爬取豆瓣电影top250
今天使用requests获取豆瓣电影top250的内容,先说下思路表设计获取每一页的内容获取当前页每一部电影对应的链接 获取所有页的url for i in range(10): top_url = "https://movie.douban.com/top250?start={0}&filter=".format(i*25)获取前页每一部电影对应的链接all_tit原创 2017-06-03 18:51:09 · 9560 阅读 · 0 评论 -
使用scrapy爬取拉勾网职位信息
今天使用scrapy实现了一个爬取拉勾网上的职位信息字段,并保存到数据库的爬虫,先看下效果: 导出json格式如下: 创建Spider之前在创建spider的时候,都是使用有genspider默认创建的spider类型,可以通过下面命令查看当前scrapy支持哪些类型的spider 下面创建crawl类型的spiderscrapy genspider -t crawl lagou ww原创 2017-05-30 18:02:58 · 4068 阅读 · 3 评论 -
使用requests和scrapy模拟知乎登录
获取登录传递的参数在正式开始之前,首先需要做的就是获取登录知乎时候传递的参数 https://www.zhihu.com/ 可以看到,这里当登录的时候,是传递红色部分标注出来的四个参数的,并且访问的是https://www.zhihu.com/login/phone_num地址,但是这里验证码需要用户点击倒立的字,目前我还没有办法,但是可以使用手机端登录看看,其实是让用户输入登录验证码的,因此,原创 2017-05-29 13:46:31 · 5906 阅读 · 6 评论 -
正则表达式基础
正则表达式是学习python爬虫的必要条件,所以需要先做好准备打好表达式的基础,开始吧# -*- coding: utf-8 -*-import reline = "helloworld123"# ^表示以什么开头# .表示任意字符# *表示一个字符可以重复任意零次或多次# $符号表示结尾字符regexStr = "^h.*3$"if re.match(regexStr, line):原创 2017-05-14 21:32:39 · 2662 阅读 · 0 评论 -
scrapy环境搭建
在ubuntu16.04下搭建scrapy环境安装pipsudo apt-get install python-pip安装Scrapy需要的依赖库sudo apt-get install python-devsudo apt-get install libevent-devsudo apt-get install libssl-dev安装Scrapysudo pip install原创 2017-05-13 14:50:24 · 3171 阅读 · 0 评论 -
使用Requests+xpath实现简单的数据爬取
今天使用Requests+xpath实现简单的数据爬取,获取的是CSDN博客上的标题,发表时间,和阅读次数下载PyCharm这里我使用的是PyCharmhttp://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 关于PyCharm的使用方法,和AndroidStudio是一样的,这原创 2017-04-30 14:29:53 · 31302 阅读 · 2 评论 -
python正则表达式re模块语法
使用字符串匹配实现对于简单的匹配查找,可以通过字符串匹配实现,比如:查找以”hello”开头的字符串 def find_Hello(filename): f = open(filename) for line in f: if line.startswith('hello'): print line f.close()find_Hel原创 2017-04-03 11:07:35 · 2290 阅读 · 0 评论 -
python文件操作
python常用读写文件函数python打开文件#文件打开方法open(name,[,mode[buf]])// name指定文件路径// mode指定文件的打开方式,读写,还是只读// buf指定缓冲区的大小上面提到文件打开方式,有如下几种 mode 说明 注意 r 只读方式打开 文件必须存在 w 只写方式打开 文件不存在则创建文件,文件存在则清空文件内原创 2017-03-26 16:13:50 · 2148 阅读 · 0 评论 -
Python学习之Requests库
python中的Requests库是封装好的用来请求http并返回对应结果的python用具初识Requests库官方文档 http://cn.python-requests.org/zh_CN/latest/代码地址 https://github.com/kennethreitz/requestsRequests环境准备安装pip https://pypi.python.org/py原创 2017-04-02 18:13:11 · 2345 阅读 · 0 评论 -
python装饰器
python闭包理解与使用闭包:内部函数中对enclosing作用域的变量进行引用,看下面代码:passline = 60def checkFun(val): print("%x" %id(val)) if val > passline: print('pass') else: print('fail') def in_fun():原创 2017-03-25 08:46:25 · 719 阅读 · 0 评论 -
python中的错误和异常处理
使用try except处理异常try: print 10 / 0except ZeroDivisionError, e: print "catched a ValueError:",e上面的代码中,被除数是0,会引发ZeroDivisionError,运行上面的代码:catched a ValueError: integer division or modulo by zero使原创 2017-03-21 21:53:31 · 2416 阅读 · 0 评论 -
python学习(三)面向对象
python面向对象继承class Person(object): ''' classdocs ''' def __init__(self,name): ''' Constructor ''' self.name = nameclass Student(Person): def __init__(s原创 2017-03-04 14:23:13 · 711 阅读 · 0 评论 -
python学习(一)常见的数据结构
Python程序是大小写敏感的,另外我们可以为一个变量赋值多个类型的值,在python中通常常量是用大写单词来表示的,但是不保证开发者一定不能修改,所以更多的 时候,算是一种编程约束python字符串创建字符串在python中创建一个字符串,只需要将字符串放在”“,”,”“” “”“当中即可#声明当前使用的字符集#coding=utf-8a = 'hello'b = "english"c =原创 2017-02-28 21:33:52 · 755 阅读 · 0 评论 -
python学习(二)函数
创建一个函数通过def关键字可以创建一个函数def addNumber(firstNumber,secondNumber) : return firstNumber + secondNumberprint "addNumber(2, 3) = "+str(addNumber(2, 3)) #输出: addNumber(2, 3) = 5另外系统为我们提供了很多函数,我们可以在命令行下通原创 2017-03-02 19:53:50 · 825 阅读 · 0 评论 -
eclipse配置python开发插件
习惯了java开发的朋友,可能更习惯使用eclipse来写代码,不管是什么都希望在eclipse上安装对应的插件,来写代码,今天给大家带来的就是在eclipse下配置python开发的插件。下载pydev for eclipsepydev for eclipse 也可以点我下载安装pydev下载后解压缩,得到两个文件夹:features和plugins,只要将它们复制到eclipse的相应目录下原创 2015-06-21 21:44:02 · 1142 阅读 · 0 评论