- 博客(4)
- 收藏
- 关注
RSS订阅原创 Python爬虫框架Scrapy实战之抓取户外数据
一个户外论坛的特点: 列出一些活动，有翻页功能，点向一个活动显示当前活动信息，在二楼一般显示报名名单！ 需要的数据: 就是活动的信息，报名的名单，价钱，主题，url 数据库: 旅游表与报名表 选择Spider： 我选择了CrawlSpider，这个特点：提供一个跟随链接的一个规则！ rules = ( Rule(LinkExt
2015-03-26 15:19:58
1003
原创 使用python lxml requests 挖掘一个户外的数据！
需求： 想关注某人参加户外的情况，但该网站不提拱这个功能！ 解决方法： 观察到这个户外信息是这样的，打开网站www.uuhw.cn，然后可以看到主页，看到一些活动,然这些活动怎样出来的，是通过http://www.uuhw.cn/api.php?mod=ad&adid=custom_3&jdfwkey=yewk52调用出来的,再打开活动，可以看到报名的名单就在第二楼下，是一个表格形式
2015-03-23 17:08:12
731
原创 python lxml xpath 使用实例！
python lxml xpath 使用实例 目标：使用xpath定位节点，也可以说好像在sql 上提取数据！ 例子 #-*- coding:utf-8 -*- import lxml.html html=''' Everyday Italian Giada De Laurentiis 2005 30.00
2015-03-19 09:46:20
4740
原创 python itertool.groupby使用误点！
使用误点一： 误以为 groupby是按照key进行分组的： 例子 from random import choice lst = [ Student(choice(['M','F']),choice(range(10,100))) for i in range(20)] for k,items in itertools.groupby(lst,lambda x:x.sex): pr
2015-03-13 15:24:06
1703
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人