爬虫真的可以接单吗？爬虫实践（一）

前言

项目来源：4天前的码市上的一个小项目

网站解析：

一、用xpath解析网页获取标题

import requests
import parsel

url = 'http://epaper.qjrb.cn/html/2021-06/09/node_2.htm'

r = requests.get(url)
r.encoding = 'utf-8'
html_data = r.text
selector = parsel.Selector(html_data)
#抓取标题，在类class="default1"中的<a标签里面。
ls = selector.xpath('//tr[@class="default1"]')
for li in ls:
    title = li.xpath('.//td[2]/a/text()').get()
    print(title)

抓取标题，在类class="default1"中的<a标签里面。

二、正则表达式获取相应新闻的URL

import requests
import re

r = requests.get('http://epaper.qjrb.cn/html/2021-06/09/node_2.htm')
txt = r.text
pattern = re.compile(r'content[^\s]*.htm')
urllist = re.findall(pattern, txt)
print(urllist)

如上图所示，单个新闻的URL实际上就是把主网页的URL的node_2换成content_189543（对应的内容url）

#主页面的URL
url = 'http://epaper.qjrb.cn/html/2021-06/09/node_2.htm'

#单个新闻的URL
url = http://epaper.qjrb.cn/html/2021-06/09/content_189543.htm

总结

这是一个小项目，对方要求其实也是比较简单，给刚接触爬虫的人来说，是个不错的练习机会。但是实际上，找个靠谱的接单外包的平台是非常不容易的；当你学习的时候，还是先重点是打好基础，如果真的想做爬虫可以找个公司，去实际的应用自己的知识，也锻炼一下自己的能力。这样锻炼的同时也是在积累自己的资源，这样才能去找到外包的资源。
同时维护自己的渠道也是在这个过程中值得注意的。