分布式比赛爬虫

import requests
import chardet
from lxml import etree
import requests
from lxml import etree
import pandas as pd
from bs4 import BeautifulSoup

url = 'http://tipdm.com/' # 目标网址
rq = requests.get(url) # 生成http请求
print(rq.status_code) # 响应状态码
print(rq.text) # 网页源码
print(rq.headers) # 响应头

with open('tmp/web_data.txt', 'w', encoding='utf=8') as f: # 将网页源码保存至磁盘
f.write(rq.text)

# 完善http请求
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
response = requests.get(url, headers=headers, timeout=2) # 发起请求
response.encoding = chardet.detect(response.content) # 设置响应内容的编码

with open('data/html_doc.html') as f: # 读取网页数据
html_doc = f.read()

# 使用lxml.etree + Xpath解析网页
dom = etree.HTML(html_doc) # 解析网页
dom.xpath('/html/head/title/text()') # 绝对路径
dom.xpath('//title/text()') # 相对路径
dom.xpath('/html//title/text()') # 相对路径

dom.xpath('//body/p/a[1]/text()') # 加入了顺序（序号）用以精确指定目标元素
dom.xpath('//body/p/a[@id="link1"]/text()') # 加入属性值，用以精确指定目标元素
dom.xpath('//body/p/a[@id="link1"]/@href') # 提取目标元素的属性值
dom.xpath('//body/p/a[@id="link1"]/@class') # 提取目标元素的属性值


# 使用beautifulsoup + CSS Seletor解析网页
soup = BeautifulSoup(html_doc, 'lxml') # 解析网页数据，得到BeautifulSoup对象
# # 通过标签名获取元素
# soup.title
# soup.p
# soup.a

soup.select('html > head > title') # 绝对路径写法
soup.select('body a') # 相对路径写法
soup.select('p > a:nth-child(1)') # 在路径中添加元素序号信息
soup.select('p > a[id="link1"]') # 在路径中添加元素属性信息

type(soup.select('p > a:nth-child(1)')[0]) # 查找提取出的元素的类型
soup.select('p > a:nth-child(1)')[0].text # 提取目标元素的文本内容
soup.select('p > a:nth-child(1)')[0].get('href') # 提取目标元素的属性值

soup.find_all('title') # 查找所有的title标签
soup.find_all('a', id='link1') # 查找id属性为link1的a标签


url = 'http://tipdm.com/' # 目标网站
rq = requests.get(url) # 生成HTTP请求
print(rq.status_code) # 响应状态码
print(rq.text) # 响应的网页源码内容
dom = etree.HTML(rq.text) # 解析网页
product_name = dom.xpath('//a[@class="tit"]/text()') # 平台名称
product_desc = dom.xpath('//li/p[@class="desc"]/text()') # 平台描述

# 将数据装在一个字典中
data = {
'product_name': product_name,
'product_desc': product_desc
}

data_frame = pd.DataFrame(data) # 将数据转化成结构化形式（数据框）
data_frame.to_csv('tmp/data_frame.csv', index=None, encoding='utf-8-sig') # 保存数据