- 博客(6)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 XPath和CSS 3的解析器比较
最近,我做了很多工作来实现一个同时支持XPath和CSS 3的解析器,令我惊讶的是:它们俩在某些方面上非常相似,而在另一些方面上又完全不同.不同的地方有,CSS是用来配合HTML工作的,可以使用#id来根据ID获取元素,以及使用.class来根据class获取元素.这些用XPath实现的话都不会那么简洁,反过来呢,XPath可以使用..来返回到DOM树的上层节点中,还可以使用foo[bar]来获取
2016-05-24 17:06:27
4532
原创 Python爬虫框架scrapy批量获取腾讯招聘网上面的信息
所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。不过由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然
2016-05-24 16:26:49
2859
原创 python http请求以及Cookie的模拟
对去哪儿网请求发送http查询： 方法中，url必须是无一个dns查询的url，不能够包含Url中的子目录；比如www.baidu.com是一个有效的url，而 www.baidu.com/file/ 就不是一个有效的url post的时候header中的refer那个参数很重要。 [python] view plain copy def get(self
2016-05-17 09:17:42
3651
原创 python通过get,post方式发送http请求和接收http响应的方法
本文实例讲述了python通过get,post方式发送http请求和接收http响应的方法。分享给大家供大家参考。具体如下： 测试用CGI,名字为test.py，放在apache的cgi-bin目录下: 1 2 3 4 5 6 7 8 9 10 #!/usr/bin/python import cgi def ma
2016-05-17 09:10:19
1521
原创 登录知乎的爬虫
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Date====: 2015-09-30 20:53:15 import requests from bs4 import BeautifulSoup import time import json import os #登陆知乎 url = 'http://www.zhihu.co
2016-05-16 18:53:51
624
原创 零基础写python爬虫之使用Scrapy框架编写爬虫
网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。 首先先要回答一个问题。 问：把网站装进爬虫里，
2016-05-10 10:01:50
4933
推荐系统实践-项亮
2017-08-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人