202007大数据实训

实训

一、环境配置（伪分布式）

hadoop：Hadoop伪分布式搭建
hive：Hadoop Hive 安装 并配置 MySQL 数据库
sqoop：sqoop安装与配置

二、爬取数据（前程无忧）

2.1 爬虫

scrapy startproject QianChengWuYou
scrapy genspider QianCheng 51job.com

2.1.1 爬虫代码(spider下的QianCheng.py)

import re
from scrapy import Request
from QianChengWuYou.items import QianchengwuyouItem
from scrapy.http.response import Response
import requests
import scrapy
# 导入库


class QianchengSpider(scrapy.Spider):
    # 职务名称
    positions = ['数据分析', '数据采集', '大数据开发工程师']

    # 爬虫信息
    name = 'QianCheng'
    allowed_domains = ['51job.com']
    start_urls = []

    def start_requests(self):
        # 获取职务名称
        for job in self.positions:
            # 组合页面链接以获得每个城市中每个职务的第一页招聘信息
            self.start_urls.append(f'https://search.51job.com/list/000000,000000,0000,00,9,99,{job},2,1.html')
        # 根据前面的第一页信息，获取该职务的页数
        for url in self.start_urls:
            # 获取该职务的第一页
            r = requests.get(url=url,
                             headers={
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
                             )
            # 设置编码
            r.encoding = r.apparent_encoding
            # 获取总页数
            page_sum = re.search(r'共(\d+)页', r.text).group(1)
            # 获取每一页上的所有职务信息
            for page in range(1, int(page_sum) + 1):
                # 拼接每一页的链接
                u = url.replace('1.html', str(page) + '.html')
                # 返回链接给get_info函数
                yield Request(url=u, callback=self.get_info)

    def get_info(self, response: Response):
        # 获取返回的页面
        # 获取该页所有招聘信息的连接
        urls = response.xpath('//div[@class="el"]/p/span/a/@href').getall()
        # 遍历所有连接
        for url in urls:
            # 获取每一条招聘信息的链接并返回
            yield Request(url=url, callback=self.parse)

    def parse(self, response):
        # 创建item对象用于存储信息
        item = QianchengwuyouItem()
        # 职位名称
        item['job_name'] = response.xpath('//div[@class="cn"]/h1/text()').get()
        # 薪资水平
        # nums用于存储最低工资和最高工资
        nums = []
        # moneys用于存储工资字段
        moneys = response.xpath('//div[@class="cn"]/strong/text()').get()
        # 如果标明了薪资，则存储薪资
        if moneys is not None:
            # 查找-，用于切割工资字段，获取最高工资、最低工资
            where = moneys.find('-')
            # 最低工资
            nums.append(moneys[0: where])
            # 薪资水平
            # 根据工资字段的值进行计算，单位统一成：千/月
            if "年" in moneys:
                # 获取最高工资
                end = moneys.find('万')
                nums.append(moneys[where+1: end])
                # 对工资进行格式化，并存储
                item['job_money_min'] = int(float(nums[0]) / 12 * 10000)
                item['job_money_max'] = int(float(nums[1]) / 12 * 10000)
            elif "万" in moneys:
                end = moneys.find('万')
                nums.append(moneys[where+1: end])
                item['job_money_min'] = int(float(nums[0]) * 10000)
                item['job_money_max'] = int(float(nums[1]) * 10000)
            elif "千" in moneys:
                end = moneys.find('千')
                nums.append(moneys[where+1: end])
                item['job_money_min'] = int(float(nums[0]) * 1000)
                item['job_money_max'] = int(float(nums[1]) * 1000)