![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
星空下的那个人影
不像程序员的程序猿
展开
-
自学Python 3网络爬虫(一)
urllib提供了一系列用于操作URL的功能。import urllib.requesturl = "http://www.baidu.com"#data返回类型:<class 'http.client.HTTPResponse'># data = urllib.request.urlopen(url)# data.geturl():http://www...原创 2018-01-20 22:18:05 · 771 阅读 · 0 评论 -
自学Python 3网络爬虫(二)
import urllibimport urllib.requestdata = {}data['word'] = '广东珠海'url_values = urllib.parse.urlencode(data)url = "http://www.baidu.com/s?"full_url = url + url_valuesprint(full_url)data = ...原创 2018-01-21 19:48:49 · 313 阅读 · 0 评论 -
python爬虫之通过pyquery爬取大众点评评论信息
写作缘由:朋友求助帮忙爬取一下大众点评天河商圈的商户名, 店铺收藏量, 评论数量, 好评数, 差评数, 口味评分, 环境评分,服务评分, 人均价格, 首页优质评论数。思路:1. 我们发现大众点评是需要我们模拟浏览器向服务器发起请求,比如我们设置了头信息中的Cookie等头信息,这样服务器就会以为我们是通过浏览器登录账户进行访问的,不会把我们列入机器人爬虫,所以需要headers请求头。...原创 2020-01-12 18:53:11 · 961 阅读 · 0 评论