网络爬虫-示例

网络爬虫

爬虫实现的基本流程

• 构造URL list.
• 读取URL list的url值
• 使用requests.post(“url”,datas=datas,headers=headers)或者是requests.get(“url”,headers=headers)函数获取.
• 内容中再提取到url值，可以回到上一步.
• 页面提取数据.
• 存入数据库.

爬虫示例

普通的网页爬取

• 不需要登录账户，密码即可爬取.
• 不需要验证码，不使用POST方式获取.
• 不需要使用cookies即可爬取.
• 网页即可简单，不需要许多登录信息，session等可爬取的。

示例:爬取贴吧网页页面.

# coding=utf-8
import requests

headers = {
   "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}

url = "https://www.baidu.com/s?wd={}".format("python")
r = requests.get(url,headers=headers)
print(r.status_code)
print(r.request.url)
print(r.content)

# coding=utf-8
import requests
import sys

# 需要带参数需要获取的贴吧名称运行，如：python
class TiebaSpider:
    def __init__(self, tieba_name):
        self.tieba_name = tieba_name
        # 构建url的基本格式.
        self.url_temp = "https://tieba.baidu.com/f?kw=" + tieba_name + "&ie=utf-8&pn={}"
        self.headers = {
   
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}
    # 构建每一个的np数值->数值.
    def get_url_list(self):
        return [self.url_temp.format(i * 50) for i in range(1000