大数据综合项目——招聘网大数据职位分析

最新推荐文章于 2024-09-11 12:15:00 发布
最新推荐文章于 2024-09-11 12:15:00 发布
阅读量866 收藏 24
点赞数 22
文章标签： 大数据 mysql hadoop hive sqlserver sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csgokasha/article/details/140740045
版权

随着信息技术的迅猛发展，大数据已经成为各行各业不可或缺的重要资源。在人力资源领域，招聘网站积累了海量的职位信息数据。本项目的目的是通过大数据分析技术，对招聘网站上的职位信息进行深入挖掘和分析，以揭示当前劳动力市场的趋势、行业热点以及人才流动情况等，为企业和求职者提供有价值的参考信息。

关键词：Hadoop集群；Mysql数据库；SQL server；Hive；Sqoop；JDK

本项目旨在通过大数据技术对招聘网站职位数据进行采集、预处理、分析和可视化展示。项目的主要目标包括：

1.搭建大数据实验环境

2.实现数据预处理

3.实现数据可视化

1.搭建大数据实验环境

前提需提前安装Centos7

1.配置ip地址

修改ip配置文件

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
# 1.把dhcp修改成static
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="dfd8991d-799e-46b2-aaf0-ed2c95098d58"
DEVICE="ens33"
ONBOOT="yes"
# 2.添加以下内容到文件末尾
IPADDR="192.168.88.101"
PREFIX="24"
GATEWAY="192.168.88.2"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"
DNS2="114.114.114.114"
IPV6_PRIVACY="no"

网络服务(关闭启动重启)

[root@node1 ~]# service network stop
[root@node1 ~]# service network start
[root@node1 ~]# service network restart

查看ip地址

[root@node1 /]# ifconfig

2.配置主机名

[root@node1 ~]# vim /etc/hostname 
# 文件内容如下:
node1

3.禁用防火墙

友情提醒先关闭再禁用防火墙

[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# systemctl disable firewalld.service

查看防火墙状态

[root@node1 ~]# systemctl status firewalld.service

默认状态是 Active: active (running) , 关闭后查看状态是Active: inactive (dead)

4.关闭Selinux

SELinux(Security-Enhanced Linux) 是美国国家安全局制造的新安全子系统(它限制了进程只能在允许的范围内操作资源)

如果开启了SELinux, 需要做非常复杂的配置, 才能正常使用系统, 在学习阶段, 在非生产环境, 一般不使用SELinux

SELinux的工作模式：enforcing: 强制模式 permissive:宽容模式 disabled:关闭禁用

[root@node1 ~]# vim /etc/selinux/config
# 默认是强制模式SELINUX=enforcing,进入文件修改为关闭即可
SELINUX=disabled

5.时钟同步

[root@node1 ~]# yum -y install ntpdate
[root@node1 ~]# ntpdate ntp4.aliyun.com
[root@node1 ~]# crontab -e
# crontab -e命令直接在/var/spool/cron目录中编辑并生成root用户的定时任务
# 分时 日月周  定时每分钟连接阿里云时间同步服务器，进行时钟同步
*/1 * * * * /usr/sbin/ntpdate -u ntp4.aliyun.com

6.创建软件安装目录

[root@node1 ~]# mkdir /export
[root@node1 ~]# cd /export
[root@node1 export]# mkdir data logs server software

7.配置域名映射

[root@node1 ~]# vim /etc/hosts
# 文件内容如下:
192.168.88.101 node1.itcast.cn node1
192.168.88.102 node2.itcast.cn node2
192.168.88.103 node3.itcast.cn node3

8.重启系统

[root@node1 ~]# reboot
或者
[root@node1 ~]# init 6

init 进程是 Linux 内核引导运行的用户级进程 .共有7个等级:

0停机或者关机, 1单用户模式, 2多用户模式, 3完全多用户模式, 4安全模式, 5图形界面模式, 6重启

二. 安装jdk软件

1.上传软件

友情提醒使用CRT等客户端远程上传jdk-8u65-linux-x64.tar.gz文件到/export/software目录下

2.解压软件

[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/server/

3.添加环境变量

[root@node1 software]# vim /etc/profile
# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.重新加载文件(配置生效)

[root@node1 software]# source /etc/profile

5.检查jdk版本

[root@node1 software]# java -version

三. 安装mysql软件

0.卸载mariadb-libs

友情提醒centos7内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb

[root@node1 software]# rpm -e --nodeps mariadb-libs

1.上传软件

友情提醒使用CRT等客户端远程上传mysql文件文件到/export/software目录下

2.解压软件

[root@node1 software]# mkdir /export/server/mysql5.7
[root@node1 software]# cd /export/software/mysql\ 5.7.29/
[root@node1 mysql 5.7.29]# tar -xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar -C /export/server/mysql5.7

3.安装mysql

[root@node1 mysql 5.7.29]# cd /export/server/mysql5.7/
[root@node1 mysql5.7]# rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm

4.初始化服务

[root@node1 mysql5.7]# mysqld --initialize

5.修改文件用户和组

[root@node1 mysql5.7]# chown mysql:mysql /var/lib/mysql -R

6.启动mysql服务

[root@node1 mysql5.7]# systemctl start mysqld.service

7.设置开启自动启动

[root@node1 mysql5.7]# systemctl enable mysqld.service

8.查看mysql状态

[root@node1 mysql5.7]# systemctl status mysqld

9.登录mysql

[root@node1 mysql5.7]# Pass=$(grep 'A temporary password' /var/log/mysqld.log |awk '{print $NF}')
​
[root@node1 mysql5.7]# mysql -uroot -p"$Pass"

10.修改root密码且授权远程访问

mysql> alter user user() identified by "123456";
mysql> use mysql;
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;
mysql> exit;

[了解]卸载mysql软件

#关闭mysql服务
[root@binzi ~]# systemctl stop mysqld.service
​
#查找安装mysql的rpm包
[root@binzi ~]# rpm -qa | grep -i mysql      
​
#卸载
[root@binzi ~]# yum remove mysql-community-libs-5.7.29-1.el7.x86_64 mysql-community-common-5.7.29-1.el7.x86_64 mysql-community-client-5.7.29-1.el7.x86_64 mysql-community-server-5.7.29-1.el7.x86_64
​
#查看是否卸载干净
[root@binzi ~]# rpm -qa | grep -i mysql
​
#查找mysql相关目录 删除
[root@binzi ~]# find / -name mysql
[root@binzi ~]# rm -rf /var/lib/mysql
[root@binzi ~]# rm -rf /var/lib/mysql/mysql
[root@binzi ~]# rm -rf /usr/share/mysql
​
#删除默认配置和日志
[root@binzi ~]# rm -rf /etc/my.cnf 
[root@binzi ~]# rm -rf /var/log/mysqld.log
​

四. 集群设置免密登录

** 友情提醒克隆node1虚拟机的前置条件：node1虚拟机存在且处于关闭状态**

1.克隆出node2虚拟机

1.node1虚拟机: 右键 -> "管理" -> "克隆"

2.图形化弹窗中: "下一页"->"下一页"->选择"创建完整克隆"再"下一页"->填写: "node2" 并且选择对应位置"再点击"完成"

3.node2虚拟机: 右键 -> "设置" -> "NAT模式" -> "高级" -> "生成"Mac地址再'确定' -> 最后点击"确定"

node2基础配置

  • 修改ip地址

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 注意此操作是在node2中修改ip地址
IPADDR="192.168.88.102"

  • 修改主机名

[root@node1 ~]# vim /etc/hostname 
# 注意此操作是在node2中修改主机名
node2

  • 重启虚拟机

[root@node1 ~]# reboot

  • 查看配置是否生效

[root@node2 ~]# ifconfig

2.克隆出node3虚拟机

node3基础配置

  • 修改ip地址

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 注意此操作是在node3中修改ip地址
IPADDR="192.168.88.103"

  • 修改主机名

[root@node1 ~]# vim /etc/hostname 
# 注意此操作是在node3中修改主机名
node3

  • 重启虚拟机

[root@node1 ~]# reboot

  • 查看配置是否生效

[root@node3 ~]# ifconfig

3.CRT操作所有会话

SecureCRT软件: "查看 "- >  选择"交互窗口" -> 右键选择"发送交互到所有会话"

4.设置免密登录

 

启动YARN集群

注意: 如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可

③单个集群启动和关闭
[root@node1 ~]# stop-dfs.sh
[root@node1 ~]# stop-yarn.sh
​
[root@node1 ~]# start-dfs.sh
[root@node1 ~]# start-yarn.sh
④jps查看进程

jps是jdk提供的一个查看当前java进程的小工具， 全称是JavaVirtual Machine Process Status Tool

[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps
⑤一键启动和关闭

如果配置了etc/hadoop/workers和ssh免密登录,则可使用脚本一键操作Hadoop两个集群的相关进程，在主节点所设定的机器上执行

[root@node1 ~]# stop-all.sh
​
[root@node1 ~]# start-all.sh
⑥启动jobHistory服务

JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中

[root@node1 ~]# mapred --daemon start historyserver

[了解]hadoop shell

[root@node1 ~]# hdfs dfs -ls /
[root@node1 ~]# hdfs dfs -mkdir /binzi
[root@node1 ~]# hdfs dfs -touch /binzi/1.txt /binzi/2.txt
[root@node1 ~]# hdfs dfs -ls /binzi
​
[root@node1 ~]# hdfs dfs -mv /binzi /binzi2
[root@node1 ~]# hdfs dfs -cp /binzi2 /binzi3
​
[root@node1 ~]# echo hello binzi > a.txt
[root@node1 ~]# hdfs dfs -put /root/a.txt /binzi
[root@node1 ~]# hdfs dfs -cat /binzi/a.txt
[root@node1 ~]# hdfs dfs -get /binzi/a.txt /
​
[root@node1 ~]# hdfs dfs -rm /binzi/2.txt
[root@node1 ~]# hdfs dfs -rm -r /binzi
[root@node1 ~]# hdfs dfs -ls /
​
[root@node1 ~]# hdfs dfs 回车

②hive-site.xml

友情提醒该文件默认是没有的，需要我们自己创建

6.上传mysql驱动

7.初始化元数据

友情提醒按如下操作初始化成功后会在mysql中创建74张表

[root@node1 mysql 5.7.29]# cd /export/server/apache-hive-3.1.2-bin/
[root@node1 apache-hive-3.1.2-bin]# schematool -initSchema -dbType mysql -verbos

注意: 初始化成功会在 mysql中创建 74张表

[root@node1 apache-hive-3.1.2-bin]# mysql -uroot -p123456
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive3              |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.00 sec)

8.在hdfs创建hive存储目录

友情提醒前提: 启动hdfs服务

[root@node1 apache-hive-3.1.2-bin]# hdfs dfs -mkdir /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -mkdir -p /user/hive/warehouse
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /user/hive/warehouse

9.启动hive服务[重点]

  • 三台虚拟机都生成公钥和私钥

    输入命令(注意需要三次回车操作): ssh-keygen

    友情提醒三台虚拟机都执行完命令后,在 /root/.ssh 中会自动生成两个文件: id_rsa 和 id_rsa.pub

  • 分别拷贝公钥给其他虚拟机

    输入命令(注意需要输入yes和密码): ssh-copy-id node1
输入命令(注意需要输入yes和密码): ssh-copy-id node2
输入命令(注意需要输入yes和密码): ssh-copy-id node3

  • 测试免密登录

    输入命令(注意此时会直接登录成功): ssh node1
输入命令(注意此时会直接登录成功): ssh node2
输入命令(注意此时会直接登录成功): ssh node3

  • 五. 安装hadoop软件

    1.上传软件

    友情提醒使用CRT等客户端远程上传 hadoop-3.3.0-Centos7-64-with-snappy.tar.gz文件到/export/software目录下

    2.解压软件

    [root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/

    3.添加环境变量

    [root@node1 software]# vim /etc/profile
    # 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  • 修改完后重启生效

  • [root@node1 server]# source /etc/profile

    4.1修改配置文件[自动方式]

    上传文件

    友情提醒使用CRT等客户端远程上传 配置好的文件压缩包hadoop-config.tar文件到/export/software目录下

    解压文件
    [root@node1 ~]# cd /export/software/
[root@node1 software]# tar -xvf hadoop-config.tar -C /export/server/
    覆盖原有文件
    [root@node1 software]# mv -f /export/server/hadoop-config/* /export/server/hadoop-3.3.0/etc/hadoop/
[root@node1 software]# rm -rf /export/server/hadoop-config*  

    4.2配置文件详解[手动方式]

    ①hadoop-env.sh文件
    [root@node1 hadoop]# vim hadoop-env.sh
    # 在55行添加JAVA_HOME,因为Hadoop把当前的执行环境当成远程服务器,所以需要重新配置下
export JAVA_HOME=/export/server/jdk1.8.0_65
# 在440行文件末尾添加以下内容
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
    ② core-site.xml文件
    [root@node1 hadoop]# vim core-site.xml
    <!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://node1:8020</value>
</property>
​
<!-- 设置Hadoop本地保存数据路径 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/export/data/hadoop-3.3.0</value>
</property>
​
<!-- 设置HDFS web UI用户身份 -->
<property>
  <name>hadoop.http.staticuser.user</name>
  <value>root</value>
</property>
​
<!-- 整合hive 用户代理设置 -->
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
​
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>
​
<!-- 开启垃圾桶机制[可选操作] 1440 表示1440分钟也就是24小时一天的时间-->
<property>
   <name>fs.trash.interval</name>
   <value>1440</value>
</property>
    ③ hdfs-site.xml文件
    [root@node1 hadoop]# vim hdfs-site.xml
    <!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->    
    <!-- 指定secondarynamenode运行位置 -->
<property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>node2:9868</value>
    </property>
    ④ mapred-site.xml文件
    [root@node1 hadoop]# vim mapred-site.xml
    <!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->  
    <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
​
<!-- MR程序历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>node1:10020</value>
</property>
​
<!-- 历史服务器web端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>node1:19888</value>
</property>
​
<property>
 <name>yarn.app.mapreduce.am.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property>
 <name>mapreduce.map.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property>
 <name>mapreduce.reduce.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
    ⑤ yarn-site.xml文件
    [root@node1 hadoop]# vim yarn-site.xml
    <!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->    
    <!-- 设置YARN集群主角色运行机器位置 -->
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>node1</value>
</property>
​
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
​
<!-- 是否将对容器实施物理内存限制 -->
<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>
​
<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>
​
<!-- 开启日志聚集 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
​
<!-- 设置yarn历史服务器地址 -->
<property>
   <name>yarn.log.server.url</name>
   <value>http://node1:19888/jobhistory/logs</value>
</property>
​
<!-- 保存的时间7天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>
    ⑥ workers文件
    [root@node1 hadoop]# vim workers
    # 用以下内容把之前内容覆盖
node1
node2
node3

    5.拷贝软件到其他机器

  • 友情提醒nod1主机上拷贝到node2和node3中各一份

  • [root@node1 server]# scp -r /export/server/hadoop-3.3.0  root@node2:/export/server/
[root@node1 server]# scp -r /export/server/hadoop-3.3.0  root@node3:/export/server/

  • node2主机配置环境变量

  • [root@node2 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node2 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node2 server]# source /etc/profile

  • node3主机配置环境变量

  • [root@node3 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node3 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node3 server]# source /etc/profile

  • 6.hadoop集群启动

    要启动Hadoop集群，其实就是启动HDFS和YARN两个集群

    ① 数据初始化

    友情提醒首次启动HDFS必须对其进行格式化操作 : 本质是清理和准备工作,因为此时的HDFS在物理上还是不存在的

    注意： 初始化操作必须在node1中执行

    [root@node1 ~]# hdfs namenode -format
    ②单节点逐个启动
    启动HDFS集群

  • 在主节点上使用以下命令启动HDFS NameNode

    [root@node1 ~]# hdfs --daemon start namenode

  • 在每个从节点上使用以下命令启动HDFS DataNode

    [root@node2 ~]# hdfs --daemon start datanode
    [root@node3 ~]# hdfs --daemon start datanode

  • node2上使用以下命令启动HDFS SecondaryNameNode

    [root@node2 ~]# hdfs --daemon start secondarynamenode

  • 在主节点上使用以下命令启动YARN ResourceManager

    [root@node1 ~]# yarn --daemon start resourcemanager

  • 在每个从节点上使用以下命令启动YARN nodemanager

    [root@node2 ~]# yarn --daemon start nodemanager
    [root@node3 ~]# yarn --daemon start nodemanager

  • 六. 集群web-ui

    一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：

    访问HDFS的NameNode主机 : http://192.168.88.101:9870/

    访问YARN的ResourceManager主机 : http://192.168.88.101:8088/

    注意: 想要上传文件夹需要配置本地域名映射

    本地配置域名映射

    如果在windows下，去访问 node1 或者是访问 node1.itcast.cn 的时候是被不到。

    可以进入 C:\Windows\System32\drivers\etc 目录打开hosts文件,添加以下内容:

    192.168.88.101 node1.itcast.cn node1
192.168.88.102 node2.itcast.cn node2
192.168.88.103 node3.itcast.cn node3

    配置完成后,可以直接通过node1访问

    HDFS: http://node1:9870/

    YARN: http://node1:8088/

    查看计算任务jobhistory

    jobhistory: http://node1:19888/jobhistory

    七. 安装hive软件

    课程中采用远程模式部署hive的metastore服务。在node1机器上安装。

    注意：以下两件事在启动hive之前必须确保正常完成。

    1、提前安装mysql,确保具有远程访问的权限

    2、启动hadoop集群,确保集群正常能够访问

    1.上传软件

    友情提醒使用CRT等客户端远程上传 apache-hive-3.1.2-bin.tar.gz 文件到/export/software目录下

    2.解压软件

    [root@node1 software]# cd /export/software/
[root@node1 software]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /export/server/

    3.解决Hive与Hadoop之间guava版本差异

    [root@node1 software]# rm -rf /export/server/apache-hive-3.1.2-bin/lib/guava-19.0.jar
[root@node1 software]# cp /export/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/

    4.添加环境变量

    [root@node1 software]# vim /etc/profile
    # 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
#  友情提醒小技巧 : 按G + o快速到文件末尾
export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/sbin

  • 修改完后重启生效

  • [root@node1 server]# source /etc/profile

    5.修改配置文件

    ①hive-env.sh

  • 修改文件名称

    [root@node1 software]# cd /export/server/apache-hive-3.1.2-bin/conf
[root@node1 conf]# mv hive-env.sh.template hive-env.sh

  • 打开文件写入数据

    [root@node1 conf]# vim hive-env.sh
    # 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export HADOOP_HOME=/export/server/hadoop-3.3.0
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf
export HIVE_AUX_JARS_PATH=/export/server/apache-hive-3.1.2-bin/lib

  • 打开文件写入数据

    [root@node1 conf]# vim hive-site.xml
    <configuration>
<!-- 存储元数据mysql相关配置 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
​
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
​
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
​
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
​
​
​
<!-- H2S运行绑定host -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node1</value>
</property>
​
<!-- 远程模式部署metastore metastore地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://node1:9083</value>
</property>
​
​
<!-- 关闭元数据存储授权  --> 
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
</configuration>

  • 上传驱动

    上传mysql-connector-java-5.1.32.jar到 /export/software/mysql 5.7.29/ 下

  • 移动驱动

    [root@node1 conf]# cd /export/software/mysql\ 5.7.29/
[root@node1 mysql 5.7.29]# cp mysql-connector-java-5.1.32.jar /export/server/apache-hive-3.1.2-bin/lib/

  • 启动metastore服务

    一代客户端 : 启动metastore服务

    输入 命令: hive 可以直接进行数据库操作

    # 前台启动(一般不用)  # ctrl+c关闭
[root@node1 apache-hive-3.1.2-bin]# hive --service metastore
[root@node1 apache-hive-3.1.2-bin]# hive --service metastore --hiveconf hive.root.logger=DEBUG,console
​
    #后台启动 回车后进程挂起  关闭使用jps+ kill -9
[root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore &
[root@node1 apache-hive-3.1.2-bin]# hive
​
# 直接输入show databases;查看表
hive> show databases;
# 结果OK default...说明成功

  • 启动hiveserver2服务

    二代客户端 : 启动metastore和hiveserver2服务

    输入命令: beeline 两次验证

    注意: 启动hiveserver2需要一定的时间 不要启动之后立即beeline连接 可能连接不上

    [root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore &
[root@node1 apache-hive-3.1.2-bin]# nohup hive --service hiveserver2 &
[root@node1 apache-hive-3.1.2-bin]# lsof -i:10000
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    18804 root  520u  IPv6 266172      0t0  TCP *:ndmp (LISTEN)
[root@node1 apache-hive-3.1.2-bin]# beeline
​
# 先输入!connect jdbc:hive2://node1:10000连接
beeline> !connect jdbc:hive2://node1:10000
​
# 再输入用户名root,密码不用输入直接回车即可
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000:
​
# 输入show databases;查看表
0: jdbc:hive2://node1:10000> show databases;
# 结果OK default...说明成功

八. 安装sqoop软件

配置数据迁移工具，用于将关系型数据库中的数据导入 Hadoop

解压

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module/


改名：

cd /opt/module
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7


 

vi /etc/profile

# 在文件末尾添加

vi /etc/profile

# 在文件末尾添加

#SQOOP_HOME
export SQOOP_HOME=/opt/module/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
保存退出，使环境变量立即生效

source /etc/profile

#4.配置环境变量
vi /etc/profile
#添加SQOOP_HOME
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
 


source /etc/profile
#5.效果测试
cd ../lib
rz(mysql-connector-java-5.1.40.jar)#上传jar包到lib目录下
cd ../bin/
sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P
#(sqoop list-database用于输出连接的本地MySQL数据库中的所有数据库，如果正确返回指定地址的MySQL数据库信息，说明Sqoop配置完成）

2.实现数据预处理

查看数据结构内容，格式化数据

本项目主要分析的内容是薪资、福利、技能要求、职位分布这四个方面。

salary(薪资字段的数据 字符串形式)
city(城市字段的数据  字符串形式)
skillLabels(技能要求字段  数组形式)
companyLabelList(福利标签数据字段 数组)

positionAdvantage(数据形式为字符串)
linux安装Pycharm

启动Pycharm

1.数据清洗
import codecs
import pandas as pd
import json
import csv
 
from pyhdfs import HdfsClient
 
client = HdfsClient(hosts='centos72:50070', user_name='root')
hdfs_path = '/output'
#with client.open('/Jobdata/page1.csv',) as reader:
#    content = reader.read()
    # print(content)
#decode = codecs.decode(content,'utf-8')
#print(decode)
all_job_data = []
 
for page in range(1, 31):
    with client.open(f'/Jobdata/page{page}.csv', ) as reader:
        content = reader.read()
        # print(content)
    decode = codecs.decode(content, 'utf-8')
    data = json.loads(decode)
 
    if isinstance(data, list):
        df = pd.DataFrame(data)
 
        # 数据处理步骤保持不变...
        df['salary'] = df['salary'].str.replace('k', '', regex=False)
        df['companyLabelList'] = df['companyLabelList'].apply(lambda x: '-'.join(x) if x else '')
        df['positionAdvantage'] = df['positionAdvantage'].str.replace(r'[，\s,、]+', '-', regex=True).fillna('')
        df['combined_labels'] = (df['companyLabelList'] + '-' + df['positionAdvantage']).str.replace('^-',
                                                                                                     '').str.replace(
            '-$', '')
        df['skillLables'] = df['skillLables'].apply(lambda x: '-'.join(x) if x else '')
        df['jobResultData'] = df['city'] + ',' + df['salary'] + ',' + df['combined_labels'] + ',' + df[
            'skillLables']
 
        # 将处理后的'jobResultData'添加到列表中
        all_job_data.extend(df['jobResultData'].tolist())
print(all_job_data)
# 将所有数据写入到一个Pandas DataFrame
all_job_data_df = pd.DataFrame({'jobResultData': all_job_data})
print(all_job_data_df)
# 将DataFrame转换为CSV字符串
csv_data = all_job_data_df.to_csv(index=False,quoting=csv.QUOTE_MINIMAL).encode('utf-8')
 
# 指定HDFS上的文件路径
hdfs_path = '/output'
 
# 写入HDFS
# 如果文件已存在并且需要覆盖，则先删除
if client.exists(hdfs_path):
    client.delete(hdfs_path, recursive=False)
 
# 创建文件句柄，注意这里没有直接传入data参数
client.create(hdfs_path,csv_data)
 
print("所有页面的'jobResultData'已成功写入到HDFS中")

2.Hive分析

 

3.构建关系型数据库

使用 MySQL 构建关系型数据库，用于存储分析结果

数据迁移 运用sqoop进行数据迁移可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中

4.数据可视化

用eclipse建一个web页面

慎小独
关注
大数据技术基础综合项目——牛客网招聘岗位统计分析
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
06-19 1946
大数据技术基础综合项目
educoder中网约车大数据综合项目 —— 数据分析Spark
weixin_46026136的博客
06-18 445
基于 EduCoder 平台提供的初始数据集，统计湖南省当天的各时间段订单总数量与各市级当天各时间段订单总数量。
Spark魔力：招聘网站数据深度分析系统
OverlordDuke的博客
01-01 1519
在本文中，我们将介绍一款基于Spark的招聘网站数据分析系统，该系统使用爬取的前程无忧招聘数据。通过结合Flask、Pandas、PySpark、以及MySQL等技术，实现了对招聘数据的高效处理、分析和可视化展示。
大模型岗位招聘数据分析及可视化
最新发布
eeee~~的博客
09-11 1193
本文提供的数据文件为CSV格式文件，约有5000条招聘信息，共10个字段，岗位名称，工作地点，岗位薪资，经验要求，学历要求，岗位标签，企业名称，企业行业，企业规模，融资状况。本文分别对每个字段进行数据分析和可视化。
某招聘网站数据分析案例及数据集.zip
11-07
某招聘网站数据分析案例，数据清洗、图表显示，python编写及数据集
对某招聘网站的数据分析岗位的分析.pdf
06-18
某招聘网站数据分析岗位分析报告，针对地区、薪资、工作年限等展开分析，后附有转行建议
招聘网站数据分析岗位数据分析（Excel实现）
Amy的博客
04-20 6071
数据分析案例明确分析的目的数据处理原始数据数据清洗选择子子集重复数据处理缺失数据处理数据转化数据提取-字段分割异常值处理数据分析1.需求在哪里？2.需要什么样的人才？3.什么阶段需求最旺？结论 明确分析的目的 • Where——需求在哪里？ • What——需要什么样的人才？ • When——什么阶段需求最旺？ 数据处理 原始数据 数据清洗 选择子子集 职位ID是该职位唯一标识，隐藏公司ID 公司全名和公司简称重复，隐藏简称 重复数据处理 操作对象：根据职位ID来删除重复数据 操作方法：选择职位ID列，数
数据分析——MySQL招聘网站案例
Algo_x的博客
02-04 571
模块二：招聘网站数据分析 1 数据准备 1.1 先清理关键数据缺失的条目--v_data_clean_null CREATE VIEW v_data_clean_null AS SELECT * FROM DATA WHERE /* 字段不为空也不为null */ job_href IS NOT NULL AND job_href != '' AND job_name IS NOT NULL AND job_name != '' AND company_href IS NOT
某招聘网站“数据分析”相关岗位招聘信息爬取并分析
JinSheng
03-10 1万+
确定目标 简单分析数据分析相关岗位的薪酬状况及技能要求； 尝试数据分析从数据获取到数据分析报告撰写的整个数据分析流程，学习爬虫、数据清洗、数据分析相关技巧。 数据获取 获取的岗位数据来源于某招聘网站，采取爬虫的方式获取,岗位搜索的关键词为：“数据分析”，爬取的信息包括：岗位名称，城市，薪酬，学历要求，经验要求，岗位描述/职责，分五次爬取，爬取了北京、上海、广州、深圳、南京五个城市的岗位数据共...
大数据项目实战—招聘网站大数据职位分析
05-20
在大数据项目实战中，"招聘网站大数据职位分析"是一个典型的案例，它涵盖了多个重要的IT知识点。这个项目旨在通过收集、处理、分析招聘网站上的职位信息，挖掘出行业趋势、热门技能以及人才需求等有价值的数据。 1....
大数据简历项目 关于两个联通大数据项目和一个爬虫项目
04-28
在第一个联通大数据项目——移动终端上网数据实时分析处理系统中，开发环境包括IDEA、Eclipse、Maven、JDK，系统架构由Hadoop、Zookeeper、Flume、Spark、Hive、MySQL、Sqoop和Oracle组成。此项目中，数据通过FTP...
基于Flask+pyecharts-2023年1-5月汽车销量可视化分析大屏+报告
06-19
汽车销量可视化分析是一种基于数据可视化技术的分析方法，旨在通过可视化方式展示汽车销售数据，帮助人们更加直观地了解市场趋势、市场份额和市场机会，以便制定更好的销售策略和市场规划 背景： 随着汽车市场的竞争...
某招聘网站的数据分析师岗位分析
Iceforest的博客
04-07 3072
数据采集于拉钩上的数据分析师岗位,要对数据分析师这个岗位有所了解,最直观的方式就是获取企业那里获得数据分析师的岗位信息,然后进行一些探索和分析,以此来加深自己对数据分析师这个岗位的认识简要介绍一下本次爬取数据的字段信息:city(城市),companyId(公司ID),companyShortName(公司简称),education(教育程度),industryFileld(公司领域),posit...
数据分析之excel分析招聘网站数据（基础版）
qq_52980244的博客
10-09 698
在已知某列数据完整无缺失的情况下，选中该列查看“计数”（表示该列有多少行数据），再查看其他列的“计数”进行对比。即，【其他列的缺失数量 = 该列的“计数” - 其他列的“计数”】• RIGHT(字符串所在单元格，从右开始到X位置进行截取)• LEFT(字符串所在单元格，从左开始到X位置进行截取)D. 转换数据类型（字符串->数字）：利用“分列”功能。• MID(字符串所在单元格，开始位置，截取长度)以“招聘网站数据-原始数据”为例，进行上述步骤。• FIND(要查找的字符串，字符串所在单元格)
大数据项目实战——基于某招聘网站进行数据采集及数据分析（一）
热门推荐
weixin_52465547的博客
05-02 2万+
大数据项目实战 第一章 项目概述 文章目录大数据项目实战第一章 项目概述学习目标一、项目需求和目标二、预备知识三、项目架构设计及技术选取总结 学习目标 掌握项目需求和目标 了解项目架构设计和技术选型 了解项目环境和相关开发工具 理解项目开发流程 在人力资源管理领域，网络招聘近年来早已凭借其范围广、信息量大、时效性强、流程简单而效果显著等优势，成为企业招聘的核心方式。随着大数据渐渐融入人类社会生活的各个领域，如何使用大数据优化企业招聘管理，提升企业招聘有效性，是值得深入探讨的现实课题。文章通过一个招聘网站
大数据项目实战——基于某招聘网站进行数据采集及数据分析（六）
weixin_52465547的博客
06-13 8793
第六章 数据可视化掌握 Sqoop 数据迁移工具的迁移工具的使用 熟悉关系型数据库 MySQL 掌握 SSM JavaEE 开发框架的整合及应用 掌握 ECharts 前端框架的使用本篇将应用 Sqoop 将 Hive 中的表数据导出到关系型数据库 MySQL 中，方便后续进行数据可视化处理，使抽象的数据转化为图形化表示，便于非技术人员的决策和分析。在上篇中，使用 Hive 完成数据分析过程后，分析结果数据存储在 HDFS 上（Hive 中数据用 HDFS 进行存储），为了方便后续进行数据可视化处理，需要将
从招聘网站分析大数据相关职位现状
TURING.DT
07-27 8295
近几年大数据行业席卷整个社会的各行各业，火热到跟当年的Android开发一样，未来5年将新一步火爆，很多从事IT行业的人员开始投入到大数据行业中，那么，目前大数据职位需求现状如何，对从业者的要求如何，以及各个职位薪水如何，哪些城市大数据行业发展更为快速，下面通过对公司招聘需求数据进行分析总结，供大家参考。 感谢拉勾网，数据从拉钩网获得，此网站为广大的互联网从业者提供优质的服务，再次感谢，也欢迎各
大数据项目实战——基于某招聘网站进行数据采集及数据分析（二）
weixin_52465547的博客
05-06 7515
大数据项目实战 第二章 搭建大数据集群环境 文章目录大数据项目实战学习目标一、安装准备二、使用步骤1.引入库2.读入数据总结 学习目标 了解虚拟机的安装和克隆 熟悉虚拟机网络配置和 SSH 服务配置 掌握 Hadoop 集群的搭建 熟悉 Hive 的安装 掌握 Sqoop 的安装 搭建大数据集群环境是开发本项目的基础。本篇将通过在虚拟机中构建多个Linux操作系统的方式来搭建大数据集群环境。 一、安装准备 Hadoop本身可以运行在Linux，Windows 以及其他一些常见操作系统之上，但是 Had
腾讯招聘数据分析
m0_49705298的博客
12-10 2929
项目背景： 腾讯招聘网站是腾讯公司对外招聘的一个网站，通过对其内数据分析腾讯公司各事业群对人员的需求，以及城市分布。 数据来源：https://careers.tencent.com/search.html 提出问题： 今天是2020年12月10日，通过对该天腾讯招聘网站所有招聘信息分析腾讯对人员的需求状况。 获取数据： 使用python的request模块进行数据爬取（7574条数据） 数据预处理 查看数据信息 数据列索引 0 BGName 腾讯事业群 1 CategoryNam
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值