python爬取前程无忧招聘网站数据搭建Hadoop、Flume、Kafka、Spark用Hive做数据分析Sqoop存储到Mysql并实现可视化

最新推荐文章于 2024-04-01 14:47:26 发布
最新推荐文章于 2024-04-01 14:47:26 发布
阅读量7.9k 收藏 157
点赞数 15
分类专栏： # 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stranger_top/article/details/107017308
版权
本文档详细介绍了如何使用Python爬虫从招聘网站抓取数据，存储到MongoDB，然后通过Hadoop、Flume、Kafka、Spark、Hive和Sqoop搭建数据处理和分析流水线。数据经过清洗后，使用Hive进行薪资和岗位数量的分析，并通过Sqoop导入到MySQL进行进一步存储，最后实现了可视化展示。
摘要由CSDN通过智能技术生成

文章目录

一、项目总体要求

利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析（spark），最后将分析的结果做数据可视化。

二、环境搭建

使用三台机器搭建完全分布式

1、安装包准备

  • jdk-8u121-linux-x64.gz
  • hadoop-2.5.0-cdh5.3.6.tar.gz
  • zookeeper-3.4.14.tar.gz
  • spark-2.4.4-bin-hadoop2.7.tgz
  • apache-flume-1.6.0-bin.tar.gz
  • kafka_2.12-2.5.0.tgz
  • hive-0.13.1-cdh5.3.6.tar.gz
  • sqoop-1.4.5-cdh5.3.6.tar.gz
  • mysql-connector-java-5.1.47.jar

在/opt目录下创建software目录和module目录：mkdir 目录名
在这里插入图片描述
使用filezilla工具（没有的可以搜索下载，也可以使用其他上传工具）将安装包上传到第一台机器hadoop101的/opt/software/目录下
在这里插入图片描述
在这里插入图片描述

2、安装jdk

三台机器相同操作

（1）查询是否安装java

命令：rpm -qa|grep java
在这里插入图片描述
我是已经安装的1.8版本

（2）卸载jdk

如果版本低于1.7，卸载该jdk：rpm -e --nodeps 软件包名，如果大于等于1.8可以直接使用

（3）安装jdk

将jdk解压到/opt/module目录下：

tar -zxvf jdk-8u121-linux-x64.gz -C /opt/module/

在这里插入图片描述

（4）配置jdk环境变量

  • 获取jdk路径
    在这里插入图片描述
  • 编辑/etc/profile文件：vi /etc/profile
    在这里插入图片描述
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
  • 保存后退出：:wq
  • 使修改文件生效：source /etc/profile
  • 查看是否安装成功：java -version
    在这里插入图片描述

3、配置ssh免密登录

（1）进入到我的home目录

cd  ~/.ssh

（2）生成公钥和私钥

ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（3）将公钥拷贝到要免密登录的目标机器上

拷贝到第二台

ssh-copy-id hadoop102

拷贝到第三台

ssh-copy-id hadoop103

4、部署Zookeeper

（1）解压安装

tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/module/

（2）创建目录

在/opt/module/zookeeper-3.4.14/下创建data/zkData和data/zkLogData

mkdir -p data/zkData

mkdir -p data/zkLogData

在这里插入图片描述

（3）配置zoo.cfg文件

重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

mv zoo_sample.cfg zoo.cfg

具体配置：
在这里插入图片描述

# 数据存储目录
dataDir = /opt/module/zookeeper-3.4.14/data/zkData
# 日志信息存储目录
dataLogDir = /opt/module/zookeeper-3.4.14/data/zkLogData

# server.1 数字表示第几台，作为标识
# 2888端口是master和slave之间的通信端口
# 3888端口是leader选举的端口
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888

（4）配置myid文件

在/opt/module/zookeeper-3.4.10/data/zkData目录下创建一个myid的文件

touch myid

编辑myid文件：vi myid

在文件中添加与server对应的编号：1
在这里插入图片描述

（5）拷贝zookeeper到另外两台机器

scp -r zookeeper-3.4.14/ root@hadoop2:/opt/module/

scp -r zookeeper-3.4.14/ root@hadoop3:/opt/module/

并分别修改myid文件中内容为2、3

（6）分别启动zookeeper

在每台机器的zookeeper-3.4.14目录下执行：bin/zkServer.sh start
在这里插入图片描述
启动成功后三台机器都应该有该进程

5、部署Hadoop

（1）解压安装

tar -zxvf  hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/module/

配置文件在/opt/module/hadoop-2.5.0-cdh5.3.6/etc/hadoop目录下

（2）配置core-site.xml

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
</property>


<!--执行zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
</property>
</configuration>

（3）配置hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_121

（4）配置hdfs-site.xml

<configuration>
        <!-- 指定HDFS副本的数量 -->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>

        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop103:50090</value>
        </property>
</configuration>

（5）配置slaves（配置哪几台机器有datanode）

hadoop101
hadoop102
hadoop103

（6）配置yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_121

（7）配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

        <!-- reducer获取数据的方式 -->
        <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
        </property>

        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop102</value>
        </property>

        <!-- 日志聚集功能使能 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>

        <!-- 日志保留时间设置7天 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>

        <!-- 配置zookeeper的地址 -->
        <property>
                <name>yarn.resourcemanager.zk-address</name>
                <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
                <description>For multiple zk services, separate them with comma</description>
        </property>

</configuration>

（8）配置mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_121

（9）配置mapred-site.xml

<configuration>
        <!-- 指定mr运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <!-- 历史服务启动查看 -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop101:10020</value>
        </property>

        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop101:19888</value>
        </property>
</configuration>

（10）拷贝hadoop到另外两台机器

scp -r hadoop-2.5.0-cdh5.3.6/ root@hadoop2:/opt/module/

scp -r hadoop-2.5.0-cdh5.3.6/ root@hadoop3:/opt/module/

（11）启动集群

如果集群是第一次启动，需要格式化namenode

在第一台机器的hadoop-2.5.0-cdh5.3.6/目录下执行：bin/hdfs namenode -format

  • 启动hdfs
    在第一台机器的hadoop-2.5.0-cdh5.3.6/目录下执行：sbin/start-dfs.sh

  • 启动yarn
    在第一台机器的hadoop-2.5.0-cdh5.3.6/目录下执行：sbin/start-yarn.sh

第一台：
在这里插入图片描述
第二台：
在这里插入图片描述
第三台：
在这里插入图片描述

6、部署Flume

（1）解压安装

tar -zxvf  apache-flume-1.6.0-bin.tar.gz -C /opt/module/

（2）配置

编辑flume-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_121

在conf目录下，创建一个配置文件agent.conf
在这里插入图片描述

（3）启动flume

根据指定的配置文件，来启动flume

进入flume的bin目录 执行：./flume-ng agent -n a1 -c ../conf -f ../conf/agent.conf Dflume.root.logger=INFO,console

安装nc：yum -y install nc

7、部署Spark

（1）解压安装

tar -zxvf  spark-2.4.4-bin-hadoop2.7.tgz -C /opt/module/

（2）配置spark-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_121
export HADOOP_HOME=/opt/module/hadoop-2.5.0-cdh5.3.6
export SPARK_MASTER_IP=hadoop101
export HADOOP_CONF_DIR=/opt/module/hadoop-2.5.0-cdh5.3.6/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/opt/module/hadoop-2.5.0-cdh5.3.6/bin/hadoop classpath)

在这里插入图片描述

（3）配置slaves

在这里插入图片描述

（4）拷贝到另外两台

scp -r spark-2.4.4-bin-hadoop2.7/ root@hadoop2:/opt/module/

（5）启动测试

在sbin目录启动spark./start-all.sh

第一台：
在这里插入图片描述
第二台：
在这里插入图片描述
第三台：
在这里插入图片描述

8、部署Kafka

（1）解压安装

tar -zxvf  kafka_2.12-2.5.0.tgz -C /opt/module/

（2）配置

在config目录下，修改server.properties，在文件中修改如下参数

broker.id=1
port=9092
listeners=PLAINTEXT://haoop101:9092
advertised.listeners=PLAINTEXT://hadoop101:9092
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181
log.dirs=/opt/module/kafka_2.12-2.5.0/logData

创建对应的logData文件夹：mkdir logData
在这里插入图片描述

（3）启动

先启动Zookeeper在启动Kafka

  • 启动Zookeeper
zkServer.sh start
  • 启动Kafka
bin/kafka-server-start.sh config/server.properties

9、部署Hive

（1）解压安装

tar -zxf /opt/softwares/hive-0.13.1-cdh5.3.6.tar.gz -C /opt/module/

（2）重命名配置文件

mv hive-default.xml.template hive-site.xml
mv hive-env.sh.template hive-env.sh

（3）配置hive-env.sh

JAVA_HOME=/opt/modules/jdk1.8.0_121
HADOOP_HOME=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/
//hive启动加载的配置文件目录
export HIVE_CONF_DIR=/opt/modules/cdh/hive-0.13.1-cdh5.3.6/conf

在这里插入图片描述

（4）安装Mysql

yum -y install mysql mysql-server mysql-devel
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum -y install mysql-community-server

（5）配置Mysql

  • 开启服务：service mysqld start
  • 设置root用户密码：mysqladmin -u root password '1'

为其他节点机器授权（其他节点能访问该数据库）：

  • 进入MySQL：mysql -u root -p
  • 执行：grant all on *.* to root@'hadoop101' identified by '1'; grant all on *.* to root@'hadoop102' identified by '1'; grant all on *.* to root@'hadoop103' identified by '1';
  • 刷新权限：flush privileges

（6）配置hive-site.xml

<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://hadoop101:3306/metastore?createDatabaseIfNotExist=true</value>
		<description>JDBC connect string for a JDBC metastore</description>
	</property>

	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>Driver class name for a JDBC metastore</description>
	</property>

	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
		<description>username to use against metastore database</description>
	</property>

	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>1</value>
		<description>password to use against metastore database</description>
	</property>
	<!-- 是否在当前客户端中显示查询出来的数据的字段名称 -->
	<property>
		<name>hive.cli.print.header</name>
		<value>true</value>
		<description>Whether to print the names of the columns in query output.</description>
	</property>

	<!-- 是否在当前客户端中显示当前所在数据库名称 -->
	<property>
		<name>hive.cli.print.current.db</name>
		<value>true</value>
		<description>Whether to include the current database in the Hive prompt.</description>
	</property>

（7）配置hive-log4j.properties.template

hive.log.dir&#
最低0.47元/天 解锁文章
xsping.com
关注
专栏目录
python爬取招聘网站数据
weixin_42551921的博客
11-27 2014
# -*- coding: utf-8 -*- # 爬虫分析 from bs4 import BeautifulSoup from lxml import etree from selenium import webdriver import time from pymongo import MongoClient class WorkSpider: ...
python爬取数据搭建Hadoop、Flume用Hive做数据分析Sqoop存储到Mysql并实现可视化
siena2077的博客
07-15 3402
加粗样式1.爬虫 爬取的是中华英才网和前程无忧两个网站。 spider代码： # -*- coding: utf-8 -*- import copy import re import pandas as pd from scrapy import Spider, Request from qiancheng.items import QianchengItem class A51jobSpider(Spider): name = '51job' # allowed_domains = [
大数据环境搭建 Hadoop+Hive+Flume+Sqoop
JM1307hhh的博客
06-15 1368
大数据Hadoop生态圈环境搭建，主要针对离线项目，利用HDFS进行分布式存储，MapReduce进行离线计算，Hive进行数据分析。
Python爬取招聘网站
yd的博客
06-06 1万+
刚学python的时候，看到一位大佬说过的话 : Life is short, you need python. 昨天看了大四的毕业晚会，他们走了之后我们就是大四的了，猝不及防的就要毕业了（小小感慨一哈）今天爬取的是招聘网站的信息，为毕业找工作的胖友们提供一个既好玩又可以查看工作信息的方法。Python的环境配置可以自行百度，开发工具用的Pycharm（当然其他开发工具也可以）。首先看一下爬取的网...
（毕设1）爬虫+mysql+flask+echarts实现网站数据可视化(附源码)
热门推荐
qq_45891048的博客
07-22 2万+
目录 1. 项目要求与内容 2.数据爬取 2.1分析url，网页源码 2.2编写代码 2.3 数据清洗 3.数据存储 3.1mysql中需要建立的6张表 3.2 建表语句 3.3将2中清洗后的数据通过navicat导入 4.flask web网站的搭建 4.1 使用pycharm建一个flask项目 4.2 后端 4.3 前端 4.4项目框架 5.项目展示 6.源码点击 1. 项目要求与内容 利用python爬取数据并进行清洗和预处理，将清洗后的数据存到mysql数...
Python爬取招聘网站招聘信息
D2cOneluo的博客
07-20 1149
仅供个人学习笔记使用。 from lxml import etree parser = etree.HTMLParser(encoding='utf-8') html = etree.parse('招聘网站.html',parser=parser) #1、获取所有li标签 # //li # xpath函数返回的是一个列表 trs = html.xpath('//li') for li in trs: print(etree.tostring(li,encoding='utf-8').decode(
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
Hadoop生态圈(三驾马车+ZK+Hive+Sqoop+Flume)复习脑图 version-1.0-附件资源
03-05
Hadoop生态圈(三驾马车+ZK+Hive+Sqoop+Flume)复习脑图 version-1.0-附件资源
Python爬取招聘网站，获取一手招聘需求，轻松面试上岗
最新发布
2401_83977554的博客
04-01 929
如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费。
python爬取招聘网信息并保存为csv文件
04-02
爬取招聘数据保存到数据库
Python获取招聘网站数据
07-10
通过Python获取拉勾网职位信息，仅供大家学习参考！
Python爬虫入门：如何爬取招聘网站并进行分析
06-13
python爬虫实操干货，一分钟了解全国行业工资水平，适合新手，数据抓取、清洗、结果分析一步到位，快快行动起来
Python程序中配置代理信息示例
weixin_33971130的博客
03-18 430
requests #! -*- encoding:utf-8 -*- import requests import random # 要访问的目标页面 targetUrl = "http://httpbin.org/ip" # 要访问的目标HTTPS页面 # targetUrl = ...
Python网络爬虫案例（二）——爬取招聘信息网站
weixin_30820077的博客
03-27 389
利用Python，爬取 51job 上面有关于 IT行业 的招聘信息 　　版权声明：未经博主授权，内容严禁分享转载　　 案例代码： # __author : "J" # date : 2018-03-07 import urllib.request import re import pymysql connection = pymysql....
Python爬虫实战，爬取某招聘网站数据并保存csv文件（附源码）
Everly_的博客
11-20 4725
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
python小游戏：实现飞机大战游戏，回忆儿时经典！
qq_41314882的博客
11-04 169
使用pygame实现的另外一块经典射击类游戏，游戏运行非常流畅，有爆炸声音效果。
python爬虫招聘-Python爬虫-爬取招聘网站信息（一）
weixin_37988176的博客
11-01 1133
学习内容，来源于百度搜索工具及环境1、python版本：python 3.7.32、安装工具：beautifulsoup3、系统环境：Windows104、浏览器：chrome网页分析image.pngimage.pngF12控制台，根据页面检查前端源码，找到想要爬取内容的对应链接关键分析html = getHtml("http://www.zhrczp.com/jobs/jobs_li...
分享思路：Python+Spark招聘爬虫可视化系统 招聘数据分析 Hadoop职位可视化 大数据毕业设计 51job数据分析(可选加推荐算法)
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-30 7145
目前市面上Python+Spark的爬虫招聘数据分析可视化系统很少，于是我们设计了一套，希望给大家一套完整的设计方案和思路，助力大数据开发！
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值