基于大数据平台分析前程无忧大数据招聘信息实现数据可视化

最新推荐文章于 2024-07-08 17:06:16 发布
最新推荐文章于 2024-07-08 17:06:16 发布
阅读量1.3w 收藏 287
点赞数 38
分类专栏： python爬虫 文章标签： 大数据 hadoop 数据分析 java sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43581288/article/details/107331362
版权

目录

前言

在这里插入图片描述
在这里插入图片描述

环境搭建

Hadoop分布式平台环境

前提准备

操作系统：CentOS7
机器：虚拟机3台，（master 192.168.1.201, slave1 192.168.1.202, slave2 192.168.1.203）
JDK：1.8.0_121（jdk-8u221-linux-x64.tar.gz）
Hadoop：2.9.2（http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz）

安装VMware和三台centoos

这儿我就不细分了，网上教程比我写的好的很多

起步

1、
在vmware安装好linux虚拟机后
重启虚拟机
在root权限的根目录下
修改IP地址
vi /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

2、
修改BOOTPROTO=“static”
并为其添加IP和网关
IPADDR=“需要配置的IP地址”
GATEWAY=“192.168.1.2”
DNS1=“8.8.8.8”

在这里插入图片描述

3、
!wq保存后
执行:service network restart在这里插入图片描述
如果出现错误，执行reboot，重启虚拟机
修改主机名

在这里插入图片描述

4、
修改主机名：vi /etc/sysconfig/network

在这里插入图片描述

在hosts里面添加内容

在这里插入图片描述

vi /etc/hosts
并重启设备，重启后，查看主机名，已经修改成功

5、
修改window10的hosts文件
（1）进入C:\Windows\System32\drivers\etc路径
（2）打开hosts文件并添加如下内容
192.168.1.201 hadoop201
192.168.1.202 hadoop202
192.168.1.203 hadoop203

6、
关闭防火墙，并在命令里面ping虚拟机
防火墙基本语法：
firewall-cmd --state （功能描述：查看防火墙状态）
Service firewalld restart 重启
Service firewalld start 开启
Service firewalld stop 关闭
永久关闭：
systemctl stop firewalld.service停止
systemctl disable firewalld.service禁止开机启动

ping -c 3 slave1 （※ 3表示发送 3 个数据包）
在这里插入图片描述

在这里插入图片描述
接下来既可以快乐的使用xshell敲代码了

jdk环境（我这儿用的1.8）

1、卸载现有jdk

查询是否安装java软件：rpm -qa|grep java
如果安装的版本低于1.7，卸载该jdk：rpm -e 软件包

2、传输文件

opt下创建两个文件夹
mkdir software
mkdir module

在这里插入图片描述

在software下
tar -zxvf jdk-8u121-linux-x64.gz -C /opt/module/
依次解压
tar -xvf mysql文件名
复制路径
在这里插入图片描述

/opt/module/jdk1.8.0_121
/opt/module/hadoop-2.9.2
配置全局路径
vi /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效： source /etc/profile

以上就是配置好的Java环境和Hadoop环境变量。接下来我们再去配置好Hadoop的其他环境。

core-site.xml

<configuration>
	<!-- 鎸囧畾HDFS涓璑ameNode鐨勫湴鍧€ -->
	<property>
		<name>fs.defaultFS</name>
        <value>hdfs://hadoop201:9000</value>
	</property>
	<!-- 鎸囧畾hadoop杩愯鏃朵骇鐢熸枃浠剁殑瀛樺偍鐩綍 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.9.2/tmp</value>
	</property>

</configuration>

hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_121

在这里插入图片描述

hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop203:50090</value>
    </property>

</configuration>

Slaves（配置哪几台是datanode）
在这里插入图片描述
yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_121

在这里插入图片描述

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
	<!-- reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

<!-- 指定YARN的ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop202</value>
	</property>

</configuration>

mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_121

在这里插入图片描述
mapred-site.xml

<configuration>
	<!-- 指定mr运行在yarn上 -->
       <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
</configuration>

在vmware中对配置好的虚拟机进行克隆002,003(注意修改主机名和IP)
ssh免密码登录
每台机器执行：
ssh-keygen -t rsa

在这里插入图片描述

把 hadoop201 节点上的 authorized_keys 钥发送到其他节点
hadoop201 执行命令,生成 authorized_keys 文件：

ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop201

在这里插入图片描述

把 authorized_keys 发送到 hadoop202 hadoop203 节点上

scp /root/.ssh/authorized_keys root@hadoop202:/root/.ssh/
scp /root/.ssh/authorized_keys root@hadoop203:/root/.ssh/

在hadoop201 节点测试免密码登录 hadoop202、hadoop203
命令：ssh 机器名

在这里插入图片描述

启动 Hadoop 集群
1.格式化 namenode 节点
只需要在 master 机器上执行就好 hdfs namenode -format
2. 启动集群：在master上执行 start-all.sh
启动时候发现resourcemanager没有起来关闭防火墙输入以下代码
sbin/yarn-daemon.sh start resourcemanager
在这里插入图片描述

在浏览器输入192.168.1.201:50070
在这里插入图片描述

在浏览器输入192.168.1.202:8088
在这里插入图片描述

完美搞定！

hive，flume，mysql，sqoop安装包和安装步骤在链接里面
链接：https://pan.baidu.com/s/1C3e4FpeX-RQ-9GVak6rekA
提取码：sed6

flume环境

安装好文件以后

flume配置
配置flie-hdfs.conf文件

# 相当定义 Flume 的三个组件变量名
a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type = spooldir
a3.sources.r3.spoolDir = /opt/data_log/
a3.sources.r3.fileSuffix = .log   
a3.sources.r3.fileHeader = true
a3.sources.r3.inputCharset = GBK

# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://hadoop201:9000/flume/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = wuyou-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.rollSize = 0
a3.sinks.k3.hdfs.rollCount = 0
a3.sinks.k3.hdfs.useLocalTimeStamp = true
a3.sinks.k3.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity =30000
a3.channels.c3.transactionCapacity = 30000

# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

基于scrapy实现的数据抓取

分析网页

点击进入网页
我们先来看看网页构造。再来分析思路：
由于我们需要的大数据岗位的分布数据，所以我们就直接搜索条件，分析大数据岗位在全国的一个分布情况。
在这里插入图片描述
我的思路是，既然需要字段，而且这个页面上的所有字段并没有我们需要的全部，那我们就需要进入到每一个网址里面去分析我们的字段。先来看看进去后是什么样子。
在这里插入图片描述
我们需要的字段都在这里面了，所以，我们就可以开始动手写代码了。

实现代码

抓取全部岗位的网址

我们之前说过，要进入到每一个网址去，那么就必然需要每一个进去的入口，而这个入口就是这个：
在这里插入图片描述
新建一个爬虫项目:

scrapy startproject qianchengwuyou

然后打开我们的项目，进入瞅瞅会发现啥都没有，我们再cd到我们的项目里面去开始一个爬虫项目

scrapy genspider qcwy https://search.51job.com/

当然，这后边的网址就是你要爬取的网址。

首先在开始敲代码之前，还是要设置一下我们的配置文件settings.py中写上我们的配置信息：

# 关闭网页机器人协议
ROBOTSTXT_OBEY = False
# mongodb地址
MONGODB_HOST='127.0.0.1'
# mongodb端口号
MONGODB_PORT = 27017
# 设置数据库名称
MONGODB_DBNAME = '51job'
# 存放本数据的表名称
MONGODB_DOCNAME = 'jobTable'
# 请求头信息
DEFAULT_REQUEST_HEADERS = {
   
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
'User_Agent' :'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'
}
# 下载管道
ITEM_PIPELINES = {
   
 'qianchengwuyou.pipelines.QianchengwuyouPipeline': 300,
}
# 下载延时
DOWNLOAD_DELAY = 1

然后再去我们的pipelines.py中开启我们的爬虫保存工作

from scrapy.utils.project import get_project_settings
settings = get_project_settings()
import pymongo
class QianchengwuyouPipeline:
    def __init__(self):
        host = settings['MONGODB_HOST']
        port = settings['MONGODB_PORT']
        self.client = pymongo.MongoClient(host=host,port=port)
        self.db = self.client[settings['MONGODB_DBNAME']]
        self.coll = self.db[settings['MONGODB_DOCNAME']]
    def process_item(self, item, spider):
        data = dict(item)
        self.coll.insert(data)
        return item
    def close(self):
        self.client.close()

定义好pipelines.py之后，我们还需要去items.py中去定义好我们需要爬取的字段，用来向pipelines.py中传输数据

最低0.47元/天 解锁文章
「已注销」
关注
专栏目录
数据分析案例-大数据相关招聘岗位可视化分析
m0_64336780的博客
11-25 1万+
本次数据集来源于xx招聘网共计4223条招聘信息，每条招聘信息字段包括岗位名称、公司名称、工作经验要求、学历要求、工作地点、薪酬、公司规模、发布时间、公司福利共9条字段信息。
35 | 厦门招聘数据分析
微信号：RunsenLiu
03-01 2378
在这个数据分析实例中，我们将运用数据科学的方法，使用Python编程语言和相关库进行数据处理、分析和可视化。通过对大量的招聘数据进行挖掘，我们将揭示厦门市招聘市场的动态，探索不同行业的就业趋势，以及人才的薪资待遇等关键信息。通过这一深入的分析，我们可以为求职者提供就业市场的实际情况，为企业提供人才招聘的指导，同时也为决策者提供更准确的市场洞察力。
面向计算机类岗位人才需求分析研究 --基于前程无忧招聘网站的数据经验证据
最新发布
weixin_48676558的博客
07-08 840
为了能够解决广大求职者找工作难，计算机相关应届生毕业就失业的问题，帮助求职者找出求职时应重点关注的问题是本文研究关注的重点。因此，本文以前程无忧网上的计算机相关专业的招聘信息作出分析：对岗位信息描述进行分词统计，对学历和技能要求进行可视化，分析企业对人才的工具技能要求和综合素质等，最后再根据TF-IDF算法提取了文本的关键词和基于LDA模型的主题分析。
python爬取招聘网站数据，利用tableau可视化交互大屏，指导你如何学习、找工作!
热门推荐
数据分析与统计学之美
03-17 2万+
本文基于这个问题，针对51job招聘网站，爬取了全国范围内大数据、数据分析、数据挖掘、机器学习、人工智能等相关岗位的招聘信息。分析比较了不同岗位的薪资、学历要求；分析比较了不同区域、行业对相关人才的需求情况；分析比较了不同岗位的知识、技能要求等。
前程无忧岗位数据可视化分析报告
m0_52382330的博客
03-01 3210
利用python进行对前程无忧网站的数据爬取后进行的一系列数据分析及可视化处理
使用scrapy爬取前程无忧所有大数据岗位并做出数据可视化
一条会编程的鱼
06-24 7177
项目目录项目要求工具软件具体知识点具体要求数据源爬取字段数据存储数据分析与可视化具体步骤分析网页实现代码抓取全部岗位的网址字段提取可视化分析“数据分析”、“大数据开发工程师”、“数据采集”等岗位的平均工资、最高工资、最低工资，并作条形图将结果展示出来分析“数据分析”、“大数据开发工程师”、“数据采集”等大数据相关岗位在成都、北京、上海、广州、深圳的岗位数，并做条形图将结果展示出来分析大数据相关岗位1-3年工作经验的薪资水平（平均工资、最高工资、最低工资），并做出条形图展示出来将数据采集岗位要求的技能做出词云
还有人不会这些数据分析小案例吗？一招教你招聘数据可视化~
m0_67575344的博客
07-21 748
找工作这玩意儿和谈恋爱差不多，讲究一个双向奔赴~咱还是直接看代码吧~不知道大家都找到自己心仪的工作了没？
基于selenium+python实现的51job招聘数据可视化分析系统源码+项目说明.tar
11-16
基于selenium+python实现的51job招聘数据可视化分析系统源码+项目说明.tar基于selenium+python实现的51job招聘数据可视化分析系统源码+项目说明.tar基于selenium+python实现的51job招聘数据可视化分析系统源码+项目...
基于前程无忧下的招聘岗位数据分析
AI大模型应用之禅
05-28 1042
1.背景介绍 在数字化世界中，数据已成为我们生活的重要组成部分。每天，我们都在生成和处理大量的数据。在招聘领域，数据分析可以帮助我们更深入地理解招聘市场的动态，例如哪些岗位最受欢迎，哪些技能最被需要，以及在不同地区和行业的薪资差异等。本文将基于前程无忧网站的招聘岗位数据进行深入分析。 2.核心概念与联系
Python爬虫实战+数据分析+数据可视化（前程无忧招聘信息）
wx1871428的博客
07-12 3727
一、爬虫部分 爬虫说明： 1、本爬虫是以面向对象的方式进行代码架构的 2、本爬虫是通过将前程无忧网页转换成一定端来进行求职信息爬取的 3、本爬虫爬取的数据存入到MongoDB数据库中 4、爬虫代码中有详细注释 代码展示 import time from pymongo import MongoClient import requests from lxml import html class JobSpider(): def __i
【毕业设计】基于大数据的招聘职业爬取与分析可视化
HUXINY的博客
08-17 7150
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩 **基于大数据的招聘职业爬取与分析可视化 **🥇学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：3分🧿。...
基于招聘网站的大数据专业相关招聘信息建模与可视化分析
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
07-06 3303
首先是利用collections库的Counter函数对数据的重复值进行查看，这边主要是对岗位的url进行了统计查看，可以通过结果看出，每个url都只出现了一次，也就是说，每条数据都只出现了一次，并未出现重复值，因此，不用对数据进行去重操作。根据占比率前十的职位类别统计，对职位类别进行环状扇形图的呈现。根据职位类别的数量统计，对所有职位类别进行词云图呈现，从词云图可以看出计算机软件、互联网、电子商务、计算机服务等职位类别对大数据专业相关岗位的需求比较大，求职者在求职的时候可以先考虑这些岗位类别的招聘。
前程无忧网站大数据职位信息分析可视化（源码）
wsq的博客
06-07 5454
一.数据采集(python爬虫) 爬虫这块不多说啦（主打数据分析），采集到的信息先转入excel表格， 然后进行 #!user/bin/env python3 # -*- coding: utf-8 -*- import re import requests import random,time from lxml import html key = '大数据' headers = {"Accep...
前程无忧岗位数据爬取+Tableau可视化分析
weixin_48367833的博客
09-27 1万+
目录 一、项目背景 二、数据获取 1、相关库的导入与说明 2、构造自动翻页链接（获取二级链接） 3、信息获取与文档写入 三、数据清洗 1、数据读取、去重、空值修复 2、“岗位名称”字段预处理 3、“工作地点”字段预处理 4、“发布时间”字段预处理 5、“岗位薪资”字段预处理 6、“工作经验”字段预处理 7、“学历需求”字段...
基于Python的前程无忧、51job、智联招聘等招聘网站数据获取及数据分析可视化大全【代码+演示】
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
12-09 3947
总的来说，这些分析揭示了网页等级排名和职位等级排名与职位的具体特征之间的关联。特定类型的职位、公司类型、规模和行业可能会影响它们在搜索结果中的可见度和优先级。综合来看，这些分析结果表明，不同搜索关键词下的职位在HR标签、薪资水平、公司类型和公司规模方面存在显著差异。综上所述，薪资发放次数不仅反映了薪资的发放频率，而且与薪资水平密切相关。更频繁的薪资发放（如包含年终奖的情况）通常意味着更高的总体薪资水平。这些分析为理解职位发布的时间模式提供了直观的视角，有助于求职者或招聘专家理解何时是职位市场最活跃的时段。
【Boss招聘数据分析可视化：技术细节与应用】
OverlordDuke的博客
12-04 294
不同岗位的学历薪资对比：对各个技术岗位按学历水平进行薪资对比分析。学历要求分析：展示不同岗位对学历的要求。经验要求与薪资分析：分析工作经验与薪资之间的关系。岗位属性分析：深入探索岗位的各种属性，如工作地点、公司规模等。技术词云：生成技术关键词的词云，帮助了解市场上最热门的技能。薪资预测：根据岗位特征预测薪资范围。岗位匹配：为求职者推荐与其技能和经历最匹配的岗位。
大数据毕设项目 大数据招聘岗位数据分析与可视化 - 爬虫 python 大屏可视化
caxiou的博客
03-31 2294
该项目一共分为三个子任务完成，数据采集—数据预处理—数据分析/可视化。项目流程图项目架构图Flask是一个基于Werkzeug和Jinja2的轻量级Web应用程序框架。与其他同类型框架相比，Flask的灵活性、轻便性和安全性更高，而且容易上手，它可以与MVC模式很好地结合进行开发。Flask也有强大的定制性，开发者可以依据实际需要增加相应的功能，在实现丰富的功能和扩展的同时能够保证核心功能的简单。Flask丰富的插件库能够让用户实现网站定制的个性化，从而开发出功能强大的网站。
用Python分析招聘数据，可视化展示招聘信息详情
想学习python欢迎在评论区留言，我看到都会用心回复
08-07 1522
大家好，我是小曼呐。
基于python对前程无忧的招聘信息进行数据爬取并进行可视化
05-12
针对您的问题，我们可以通过使用Python的BeautifulSoup和requests库进行前程无忧网站的数据爬取，并使用Matplotlib或者Seaborn等可视化库对获取的数据进行可视化处理。具体步骤如下： 1. 导入必要的库 ```python ...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值