用伪分布式处理爬取下来的数据并用flume监听hive分析，sqoop传入MySQL并可视化

最新推荐文章于 2023-09-20 21:51:55 发布
最新推荐文章于 2023-09-20 21:51:55 发布
阅读量534 收藏 5
点赞数
文章标签： hadoop hdfs mysql python 爬虫 Hive 编程指南 完整版
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yzh1433223/article/details/107356020
版权

一、爬虫部分（爬取了前程无忧和中华英才网，此处就拿前程无忧为例）

创建爬虫

scrapy startproject wyjob
scrapy genspider job‘www.51jobs.com'

爬取字段

在这里插入图片描述

数据储存

mysql

pipelines.py

# -*- coding: utf-8 -*-
import pymysql
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
from pymongo import MongoClient
class WyjobPipeline:
    def open_spider(self,spider):
        #连接数据库
        db_params = {
            'host': '127.0.0.1',
            'user': 'root',
            'password': '1',
            'database': 'yzhdb'
        }
        self.conn = pymysql.connect(**db_params)
        self.cursor = self.conn.cursor()
    def process_item(self, item, spider):
        self.cursor.execute('insert into user(gs_name,zhiwei)VALUES ("{}","{}")'.format(item['gs_name'], item['zhiwei']))
        self.conn.commit()
    def close_spider(self, spider):
        # 关闭游标和连接
        self.cursor.close()
        self.conn.close()

mongodb

pipelines.py

# -*- coding: utf-8 -*-
import pymysql
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


from pymongo import MongoClient
class WyjobPipeline:
    def open_spider(self,spider):
        self.db = MongoClient('localhost',27017).yzh
        self.collection = self.db.job
    def process_item(self, item, spider):
        self.collection.insert_one(dict(item))
        return item
    def close_spider(self,spider):
        self.collection.close()
    def open_spider(self,spider):

源码

job.py

# -*- coding: utf-8 -*-
import scrapy
from ..items import WyjobItem
class JobSpider(scrapy.Spider):
    name = 'job'
    allowed_domains = ["51job.com"]
    start_urls = []
    for a in range(1320):
        url = "https://search.51job.com/list/000000,000000,0000,00,9,99,web,2," + str(a) + ".html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare="
        start_urls.append(url)

    def parse(self, response):
        out_box = response.xpath('//div[@class="el"]')
        # print(len(a))
        for i in out_box:
            parent = str((i.xpath('p[@class="t1 "]/span/a/@href').extract_first())).strip()
            if not parent == "None":
                print(parent)
                yield scrapy.Request(parent, callback=self.d_parse)

    def d_parse(self, response):
        item = WyjobItem()
        item['gs_name'] = response.xpath('//div[@class="tHeader tHjob"]//p/a/text()').extract_first()
        item['zhiwei'] = response.xpath('//div[@class="tHeader tHjob"]//h1/text()').extract_first()
        item['xinzi'] = str(response.xpath('//div[@class="tHeader tHjob"]//strong/text()').extract_first()).replace(
            'None', '000')
        item['where'] = response.xpath(
            '//div[@class="tHeader tHjob"]//div[@class="cn"]/p[@class="msg ltype"]/text()[1]').extract_first().replace(
            '\xa0', '')
        item['jobjinyan'] = response.xpath(
            '//div[@class="tHeader tHjob"]//div[@class="cn"]/p[@class="msg ltype"]/text()[2]').extract_first().replace(
            '\xa0', '')
        item['xueli'] = response.xpath(
            '//div[@class="tHeader tHjob"]//div[@class="cn"]/p[@class="msg ltype"]/text()[3]').extract_first().replace(
            '\xa0', '')
        zhiweixinxis = response.xpath(
            '//div[@class="tBorderTop_box"]/div[@class="bmsg job_msg inbox"]/p/text()').extract()
        zhiweixinxi = ""
        for n in zhiweixinxis:
            zhiweixinxi += n + "\n"
        item['zhiweixinxi'] = zhiweixinxi
        gongsixinxis = response.xpath('//div[@class="tBorderTop_box"]/div[@class="tmsg inbox"]/text()').extract()
        gongsixinxi = ""
        for i in gongsixinxis:
            gongsixinxi += i + "\n"
        item['gongsixinxi'] = gongsixinxi

        return item

itmes.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class WyjobItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    gs_name = scrapy.Field()
    zhiwei = scrapy.Field()
    xinzi = scrapy.Field()
    where = scrapy.Field()
    jobjinyan = scrapy.Field()
    xueli = scrapy.Field()
    zhiweixinxi = scrapy.Field()
    gongsixinxi = scrapy.Field()

二、flume监听

实现监听（截图）

将数据通过xftp传入虚拟机，再cp到flume监听的文件里面
在这里插入图片描述
在这里插入图片描述
hdfs上的效果
在这里插入图片描述

三、hive数据分析

从hdfs传入hive

load data inpath '/source/logs/20200714/22/upload-.1594737964393' into table job_data ;

在这里插入图片描述
在这里插入图片描述

分析数据

insert into fenxi_data
select name,case 
when if (regexp_extract(split(salary,'-')[1],'(.*?)万/月',1) is NULL or regexp_extract(split(salary,'-')[1],'(.*?)万/月',1) == '',false,true) then round(cast(regexp_extract(split(salary,'-')[1],'(.*?)万/月',1) as double),2)
when if (regexp_extract(split(salary,'-')[1],'(.*?)千/月',1) is NULL or regexp_extract(split(salary,'-')[1],'(.*?)千/月',1) == '',false,true) then round(cast(regexp_extract(split(salary,'-')[1],'(.*?)千/月',1) as double) / 12,2)
when if (regexp_extract(split(salary,'-')[1],'(.*?)万/年',1) is NULL or regexp_extract(split(salary,'-')[1],'(.*?)万/年',1) == '',false,true) then round(cast(regexp_extract(split(salary,'-')[1],'(.*?)万/年',1) as double) / 10,2)
else 0
end as max_salary,case 
when if (regexp_extract(split(salary,'-')[1],'(.*?)万/月',1) is NULL or regexp_extract(split(salary,'-')[1],'(.*?)万/月',1) == '',false,true) then round(cast(split(salary,'-')[0] as double),2)
when if (regexp_extract(split(salary,'-')[1],'(.*?)千/月',1) is NULL or regexp_extract(split(salary,'-')[1],'(.*?)千/月',1) == '',false,true) then round(cast(split(salary,'-')[0] as double) / 12,2)
when if (regexp_extract(split(salary,'-')[1],'(.*?)万/年',1) is NULL or regexp_extract(split(salary,'-')[1],'(.*?)万/年',1) == '',false,true) then round(cast(split(salary,'-')[0] as double) / 10,2)
else 0
end as min_salary,case 
when if (regexp_extract(split(salary,'-')[1],'(.*?)万/月',1) is NULL or regexp_extract(split(salary,'-')[1],'(.*?)万/月',1) == '',false,true) then round((round(cast(regexp_extract(split(salary,'-')[1],'(.*?)万/月',1) as double),2) + round(cast(split(salary,'-')[0] as double),2))/2,2)
when if (regexp_extract(split(salary,'-')[1],'(.*?)千/月',1) is NULL or regexp_extract(split(salary,'-')[1],'(.*?)千/月',1) == '',false,true) then round((round(cast(regexp_extract(split(salary,'-')[1],'(.*?)千/月',1) as double) / 12,2) + round(cast(split(salary,'-')[0] as double) / 12,2) )/2,2)
when if (regexp_extract(split(salary,'-')[1],'(.*?)万/年',1) is NULL or regexp_extract(split(salary,'-')[1],'(.*?)万/年',1) == '',false,true) then round((round(cast(regexp_extract(split(salary,'-')[1],'(.*?)万/年',1) as double) / 10,2) + round(cast(split(salary,'-')[0] as double) / 10,2))/2,2)
else 0
end as avg_salary,
address,
experience,
put_date
from job_data;
工资分析
create table gzfx(name VARCHAR(20),max_salary double,min_salary double,avg_salary double)charset utf8 collate utf8_general_ci;
insert into gzfx
select "数据分析",max(max_salary),min(min_salary),round(avg(avg_salary),2) from fenxi_data where min_salary != '0.0' and name like '%数据分析%' group by name like '%数据分析%'  ;
insert into gzfx
select "大数据开发工程师",max(max_salary),min(min_salary),round(avg(avg_salary),2) from fenxi_data where min_salary != '0.0' and name like '%大数据开发工程师%' group by name like '%大数据开发工程师%' ;
insert into gzfx
select "数据采集",max(max_salary),min(min_salary),round(avg(avg_salary),2) from fenxi_data where min_salary != '0.0' and name like '%数据采集%' group by name like '%数据采集%' ;
岗位分析
create table gwfx(address varchar(55),num int)charset utf8 collate utf8_general_ci;
insert into gwfx
select "成都",sum(num) from (select address,count(* ) as num from fenxi_data where (name like '%数据分析%' or name like '%大数据开发工程师%' or  name like '%数据采集%' or  name like '%大数据%') and address like '%成都%' group by address )as a;
insert into gwfx
select "北京",sum(num) from (select address,count(* ) as num from fenxi_data where (name like '%数据分析%' or name like '%大数据开发工程师%' or  name like '%数据采集%' or  name like '%大数据%') and address like '%北京%' group by address )as a;
insert into gwfx
select "上海",sum(num) from (select address,count(* ) as num from fenxi_data where (name like '%数据分析%' or name like '%大数据开发工程师%' or  name like '%数据采集%' or  name like '%大数据%') and address like '%上海%' group by address )as a;
insert into gwfx
select "广州",sum(num) from (select address,count(* ) as num from fenxi_data where (name like '%数据分析%' or name like '%大数据开发工程师%' or  name like '%数据采集%' or  name like '%大数据%') and address like '%广州%' group by address )as a;
insert into gwfx
select "深圳",sum(num) from (select address,count(* ) as num from fenxi_data where (name like '%数据分析%' or name like '%大数据开发工程师%' or  name like '%数据采集%' or  name like '%大数据%') and address like '%深圳%' group by address )as a;
工作经验
create table gzjy(name varchar(55),max_salary double,min_salary double,avg_salary double)charset utf8 collate utf8_general_ci;
insert into gzjy
select "大数据",max(max_salary),min(min_salary),round(avg(avg_salary),2) from fenxi_data where (name like '%数据分析%' or name like '%大数据开发工程师%' or  name like '%数据采集%' or  name like '%大数据%') and (experience like '%1年%' or experience like '%2年%' or  experience like '%3年%') and min_salary != '0.0';
岗位趋势
create table gwqs(put_date varchar,num int)charset utf8 collate utf8_general_ci;;
insert into gwqs
select put_date,count(put_date) as num from fenxi_data where (name like '%数据分析%' or name like '%大数据开发工程师%' or  name like '%数据采集%' or  name like '%大数据%') and  put_date != '00-00' group by put_date;

四、sqoop导入mysql

sqoop export --connect jdbc:mysql://192.168.183.129:3306/yzh --username root --password P@ssw0rd --table gzfx --fields-terminated-by ',' --export-dir /user/hive/warehouse/jobs.db/gzfx

在这里插入图片描述

五、数据可视化

第一题：gzfx表

在这里插入图片描述
在这里插入图片描述

第二题：gwfx表：

在这里插入图片描述
在这里插入图片描述

第三题 gzjy表：

在这里插入图片描述
在这里插入图片描述

第四题gwqs表

在这里插入图片描述
在这里插入图片描述

六、实训小结

配置环境要细心，仔细看清楚每一个符号。。。
然后在hive数据分析时，理清思路再写
通过sqoop传到MySQL时先建对应的表的所有字段要一样，别忘了utf-8

刚好中意❤
关注
flume mysql hive_黑马论坛日志项目（hive、sqoop、flume、mysql）
weixin_42314448的博客
01-19 239
一、准备工作1、项目描述通过对黑马技术论坛的apache common日志进行分析， 计算论坛关键指标，供运营者决策。2、数据情况每行记录有5部分组成： 访问ip、访问时间、访问资源【跟着两个访问的Url】、访问状态、本次流量截取部分数据如下：27.19.74.143 - - [30/May/2013:17:38:21 +0800] "GET /static/image/smiley/def...
python爬取数据搭建Hadoop、Flume用Hive做数据分析Sqoop存储到Mysql并实现可视化
siena2077的博客
07-15 3342
加粗样式1.爬虫 爬取的是中华英才网和前程无忧两个网站。 spider代码： # -*- coding: utf-8 -*- import copy import re import pandas as pd from scrapy import Spider, Request from qiancheng.items import QianchengItem class A51jobSpider(Spider): name = '51job' # allowed_domains = [
flume伪分布模式实践
caodaoxi的专栏
05-05 104
1）启动flume master：bin/flume master ,这时你可以到master的web界面http://localhost:35871/查看flume集群信息，web界面如下： 从截图中可以看出，当前flume集群中没有node节点。 2）启动flume node节点：flume node_nowatch，你可以到http://localhost:35862/查看该节点的信...
伪分布式网络爬虫框架的设计与自定义实现(一)
weixin_34331102的博客
03-11 106
【项目愿景】系统基于智能爬虫方向对数据由原来的被动整理到未来的主动进攻的转变的背景下，将赋予”爬虫”自我认知能力，去主动寻找”进攻”目标。取代人工复杂而又单调的重复性工作。能够实现在人工智能领域的某一方向上独当一面的作用。 【项目进展】项目一期基本实现框架搭建，对数据的处理和简单爬取任务实现。 【项目说明】为了能够更好理解优秀框架的实现原理，本项目尽量屏蔽优秀开源第三方jar包实现，自定义实现...
flume 监控hive日志文件
weixin_34209406的博客
04-12 425
flume 监控hive 日志文件 一： flume 监控hive的日志 1.1 案例需求： 1. 实时监控某个日志文件，将数据收集到存储hdfs 上面， 此案例使用exec source ，实时监控文件数据，使用Memory Channel 缓存数据，使用HDFS Sink 写入数据 2. 此案例实时监控hive 日志文件，放到hdfs 目录当中。 hive 的日志目录是 hive....
Scrapy 伪分布式爬虫
BradyCC的博客
06-03 311
Scrapy 伪分布式爬虫 应用 Scrapy框架 ，使用redis实现伪分布式爬虫。 # settings 配置redis SCHEDULER = "scrapy_redis.scheduler.Scheduler" DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" SCHEDULER_PERSIST = True # ...
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9741
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
数据分析大数据面试题大杂烩02
GavinKai
03-09 2401
Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,会先进行二次排序,首先根据数据所属的partition进行排序,然后每个partition中的数据再按key来排序 . partition的目是将记录划分到不同的Reducer上去,以期望能够达到负载均衡,以后的Reducer就会根据partition来读取自己对应的数据 . 接着运行co
期末考试题库3
最新发布
m0_74487105的博客
09-20 2827
311.小明在一家IT教育公司做运营工作，经常听到同学聊到MaxCompute核心概念，但又不知其意，下列哪些选项（ ABCDE ）能帮助小明更好的了解MaxCompute。 A:Project（项目）项目是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界 B:Partition（分区）分区Partition是指一张表下，根据分区字段（一个或多个字段的组合）对数据存储进行划分 C:View（视图）视图是在表之上建立的虚拟表，它的
Cloudera(CDH) 简介和在线安装
热门推荐
Kim_Weir的专栏
04-13 2万+
Cloudera 简介Cloudera 官网：https://www.cloudera.comCloudera 官方文档： https://www.cloudera.com/documentation/enterprise/latest.htmlCDH是Apache Hadoop和相关项目的最完整，经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基...
Sqoop数据采集工具简介、安装、使用学习笔记（配合Hive和Hbase）
03-08
学习数据采集工具（ETL）Sqoop并使用多年后，写的一个学习笔记，整理了基本的要点，和操作使用手册，方便初学者快速掌握。
大数据知识汇总
weixin_44328257的博客
07-17 7538
本文主要介绍大数据相关的技术和项目目录1.1文章介绍介绍1.2项目介绍1.3 项目指标1.3.1离线指标1.3.2实时指标1.3.3最难的两个指标1.4项目遇到问题1.4.1 Sqoop1.4.2Flume1.4.3Kafka1.4.4Hadoop1.5 项目相关流程问题1. 如何保证你写的 sql 正确性？2. 测试数据哪来的？3. 测试环境什么样？4. 测试之后如何上线？5. 你做的项目工作流程是什么？6. 项目实际工作流程？7.公司项目版本迭代多久一次多久一次 ，迭代到哪个版本？8.项目开发中每天做什
大数据可视化——Sqoop与Hive的安装详解
缘昔的博客
11-03 908
点这里=>本次Sqoop使用的是1.4.2的版本下载sqoop-xxx.bin__hadoop.tar.gz 版本自选。
Flume数据采集结合etcd作为配置中心在爬虫大数据采集处理中的架构实践。
03-30 393
ApacheFlume是一个分布式的、可靠的、可用的系统,用于有效地收集、 聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储，但是其本身是以本地properties作为配置的，配置无法做到动态监听和更新。 一、Flume和ETCD的结合，使用ETCD作为flume 数据采集的配置中心。 那么如何做出一个flume的动态配置中心呢，etcd 可以是一个很好的选择。etcd的API版本有v2和v3两个，这里选择v3版本。在flume启动的时候，可以启动etcd的监听。 ... @.
hadoop flume 监听hive日志文件的常见错误 flume链接HDFS失败之端口问题
qq_44641456的博客
05-21 845
21 五月 2022 17:08:53,228 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.BucketWriter.open:246) - Creating hdfs://hadoop102:9870/flume/20220521/17/logs-.1653124088090.tmp 21 五月 2022 17:08:53,249 WARN [hdfs-k2-call-runn...
flume mysql hive_通过flume的hivesink接收数据存到hive数据库表中
weixin_29404509的博客
02-01 314
前提提交1、hadoop环境2、hive环境3、flume环境(此文章只介绍介绍环境搭建)1、配置hive环境变量，方便每次使用hive都要加载hive的json包问题进图linux中的环境配置文件vim /etc/profile1 export HIVE_HOME=/home/software/hive-1.2.02 export HCAT_HOME=/home/software/hive-1....
saless.csv数据的导入，清洗，分析，导出，可视化（利用hive，sqoop，mysql工具）
人工智能方向，计算机视觉
07-14 2001
saless.csv数据的导入，清洗，分析，导出，可视化（利用hive，sqoop，mysql工具）
hive-flume爬虫
HESHIQI9927的博客
07-15 492
进入hive 1.创建数据库 hive> create database if not exists qianchen; hive> use qianchen; 2.创建表 hive> create table t_qianchen(id string,position string,salary string,company string,place string,job_require string,eduction string,experience string)row fo
Hadoop+Flume+Kafka+Hive+Sqoop+mysql
09-20
Hadoop是一个开源的分布式计算系统，用于存储和处理大规模数据。 Flume是一个用于在大规模数据集群中高效收集、聚合和移动数据的分布式系统。 Kafka是一个高吞吐量的分布式发布-订阅消息系统，用于处理实时数据流。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值