Python爬虫随笔1

起因

  1. 问答网站做到现在,没有数据啊,所以需要一些数据;
  2. 爬虫很好玩,早就在知乎看见别人爬各种羞羞网站的代码,不过一直没时间,最近感觉自己秋招也没啥希望,还是做点自己想做的事情吧;
  3. 我的Python基础几乎为0,虽然看过语法,然而都忘了,这玩意不写,两天就忘了;所以给点动力,也可以好好工作一把;

爬虫

  1. 一直听说爬虫,其实并不是什么厉害的东西;在B/S架构下,所有数据都是要传输到我们客户端上的,也就是说内容会直接以文件形式传输过来,假设是C/S结构,人家给你本地的客户端加加密,我们就没有办法了,但是html是公共协议,浏览器能解析,那我们也行;爬虫的好处就是可以自动的,不断浏览网页,并且可以获取我们想要的内容,比如图片;
  2. 如果我们想让爬虫动起来,那就需要模拟一个浏览器,所以首先要构建一个请求;在请求中我们添加headers,cookie,让服务器认为我们是一个友好的浏览器;
  3. requests包 传送门 requests是非常easy的包,他真的是给人用的,看一下教程即可;

超级简单的实例

  • url + headers + cookie ,完美欺骗我校pt站,直接模拟了登陆
# -*- coding:utf-8 -*-  
import requests
#headers
headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
          'Host': 'pt.cugb.edu.cn',
          'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)'}
#cookie
cookies = {'c_secure_uid':'NTQ5',' c_secure_pass':'7d72b685dccd03101b9f7eb6344f7c76',' letskillie6':'false',' c_secure_user_link_online':'success'}
#url
url='http://pt.cugb.edu.cn/'
#请求
r = requests.get(url,cookies,headers = headers,cookies = cookies)
print r.text
  • 引入PyQuery,抓取特地内容,其实是因为pyspider框架就只能爬去两条,所以我就自己写了实验了一下,发现确实只能爬出两条,so以后再想这个问题吧;
# -*- coding:utf-8 -*-
import requests
from pyquery import PyQuery
headers = {'User-Agent': 'GoogleBot',
            'Host': 'www.zhihu.com',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'}
url = "https://www.zhihu.com/question/19942068"
request = requests.get(url,headers = headers)
print request.text
q = PyQuery(request.text)
for each in q('.RichContent-inner>span.RichText.CopyrightRichText-richText').items():
    each.html()
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值