大数据综合项目——招聘网大数据职位分析

最新推荐文章于 2024-08-16 18:04:03 发布
最新推荐文章于 2024-08-16 18:04:03 发布
阅读量755 收藏 23
点赞数 22
文章标签： 大数据 mysql hadoop hive sqlserver sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSGOkasha/article/details/140740045
版权

随着信息技术的迅猛发展，大数据已经成为各行各业不可或缺的重要资源。在人力资源领域，招聘网站积累了海量的职位信息数据。本项目的目的是通过大数据分析技术，对招聘网站上的职位信息进行深入挖掘和分析，以揭示当前劳动力市场的趋势、行业热点以及人才流动情况等，为企业和求职者提供有价值的参考信息。

关键词：Hadoop集群；Mysql数据库；SQL server；Hive；Sqoop；JDK

本项目旨在通过大数据技术对招聘网站职位数据进行采集、预处理、分析和可视化展示。项目的主要目标包括：

1.搭建大数据实验环境

2.实现数据预处理

3.实现数据可视化

1.搭建大数据实验环境

前提需提前安装Centos7

1.配置ip地址

修改ip配置文件

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
# 1.把dhcp修改成static
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="dfd8991d-799e-46b2-aaf0-ed2c95098d58"
DEVICE="ens33"
ONBOOT="yes"
# 2.添加以下内容到文件末尾
IPADDR="192.168.88.101"
PREFIX="24"
GATEWAY="192.168.88.2"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"
DNS2="114.114.114.114"
IPV6_PRIVACY="no"

网络服务(关闭启动重启)

[root@node1 ~]# service network stop
[root@node1 ~]# service network start
[root@node1 ~]# service network restart

查看ip地址

[root@node1 /]# ifconfig

2.配置主机名

[root@node1 ~]# vim /etc/hostname 
# 文件内容如下:
node1

3.禁用防火墙

友情提醒先关闭再禁用防火墙

[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# systemctl disable firewalld.service

查看防火墙状态

[root@node1 ~]# systemctl status firewalld.service

默认状态是 Active: active (running) , 关闭后查看状态是Active: inactive (dead)

4.关闭Selinux

SELinux(Security-Enhanced Linux) 是美国国家安全局制造的新安全子系统(它限制了进程只能在允许的范围内操作资源)

如果开启了SELinux, 需要做非常复杂的配置, 才能正常使用系统, 在学习阶段, 在非生产环境, 一般不使用SELinux

SELinux的工作模式：enforcing: 强制模式 permissive:宽容模式 disabled:关闭禁用

[root@node1 ~]# vim /etc/selinux/config
# 默认是强制模式SELINUX=enforcing,进入文件修改为关闭即可
SELINUX=disabled

5.时钟同步

[root@node1 ~]# yum -y install ntpdate
[root@node1 ~]# ntpdate ntp4.aliyun.com
[root@node1 ~]# crontab -e
# crontab -e命令直接在/var/spool/cron目录中编辑并生成root用户的定时任务
# 分时 日月周  定时每分钟连接阿里云时间同步服务器，进行时钟同步
*/1 * * * * /usr/sbin/ntpdate -u ntp4.aliyun.com

6.创建软件安装目录

[root@node1 ~]# mkdir /export
[root@node1 ~]# cd /export
[root@node1 export]# mkdir data logs server software

7.配置域名映射

[root@node1 ~]# vim /etc/hosts
# 文件内容如下:
192.168.88.101 node1.itcast.cn node1
192.168.88.102 node2.itcast.cn node2
192.168.88.103 node3.itcast.cn node3

8.重启系统

[root@node1 ~]# reboot
或者
[root@node1 ~]# init 6

init 进程是 Linux 内核引导运行的用户级进程 .共有7个等级:

0停机或者关机, 1单用户模式, 2多用户模式, 3完全多用户模式, 4安全模式, 5图形界面模式, 6重启

二. 安装jdk软件

1.上传软件

友情提醒使用CRT等客户端远程上传jdk-8u65-linux-x64.tar.gz文件到/export/software目录下

2.解压软件

[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/server/

3.添加环境变量

[root@node1 software]# vim /etc/profile
# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.重新加载文件(配置生效)

[root@node1 software]# source /etc/profile

5.检查jdk版本

[root@node1 software]# java -version

三. 安装mysql软件

0.卸载mariadb-libs

友情提醒centos7内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb

[root@node1 software]# rpm -e --nodeps mariadb-libs

1.上传软件

友情提醒使用CRT等客户端远程上传mysql文件文件到/export/software目录下

2.解压软件

[root@node1 software]# mkdir /export/server/mysql5.7
[root@node1 software]# cd /export/software/mysql\ 5.7.29/
[root@node1 mysql 5.7.29]# tar -xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar -C /export/server/mysql5.7

3.安装mysql

[root@node1 mysql 5.7.29]# cd /export/server/mysql5.7/
[root@node1 mysql5.7]# rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm

4.初始化服务

[root@node1 mysql5.7]# mysqld --initialize

5.修改文件用户和组

[root@node1 mysql5.7]# chown mysql:mysql /var/lib/mysql -R

6.启动mysql服务

[root@node1 mysql5.7]# systemctl start mysqld.service

7.设置开启自动启动

[root@node1 mysql5.7]# systemctl enable mysqld.service

8.查看mysql状态

[root@node1 mysql5.7]# systemctl status mysqld

9.登录mysql

[root@node1 mysql5.7]# Pass=$(grep 'A temporary password' /var/log/mysqld.log |awk '{print $NF}')
​
[root@node1 mysql5.7]# mysql -uroot -p"$Pass"

10.修改root密码且授权远程访问

mysql> alter user user() identified by "123456";
mysql> use mysql;
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;
mysql> exit;

[了解]卸载mysql软件

#关闭mysql服务
[root@binzi ~]# systemctl stop mysqld.service
​
#查找安装mysql的rpm包
[root@binzi ~]# rpm -qa | grep -i mysql      
​
#卸载
[root@binzi ~]# yum remove mysql-community-libs-5.7.29-1.el7.x86_64 mysql-community-common-5.7.29-1.el7.x86_64 mysql-community-client-5.7.29-1.el7.x86_64 mysql-community-server-5.7.29-1.el7.x86_64
​
#查看是否卸载干净
[root@binzi ~]# rpm -qa | grep -i mysql
​
#查找mysql相关目录 删除
[root@binzi ~]# find / -name mysql
[root@binzi ~]# rm -rf /var/lib/mysql
[root@binzi ~]# rm -rf /var/lib/mysql/mysql
[root@binzi ~]# rm -rf /usr/share/mysql
​
#删除默认配置和日志
[root@binzi ~]# rm -rf /etc/my.cnf 
[root@binzi ~]# rm -rf /var/log/mysqld.log
​

四. 集群设置免密登录

** 友情提醒克隆node1虚拟机的前置条件：node1虚拟机存在且处于关闭状态**

1.克隆出node2虚拟机

1.node1虚拟机: 右键 -> "管理" -> "克隆"

2.图形化弹窗中: "下一页"->"下一页"->选择"创建完整克隆"再"下一页"->填写: "node2" 并且选择对应位置"再点击"完成"

3.node2虚拟机: 右键 -> "设置" -> "NAT模式" -> "高级" -> "生成"Mac地址再'确定' -> 最后点击"确定"

node2基础配置

  • 修改ip地址

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 注意此操作是在node2中修改ip地址
IPADDR="192.168.88.102"

  • 修改主机名

[root@node1 ~]# vim /etc/hostname 
# 注意此操作是在node2中修改主机名
node2

  • 重启虚拟机

[root@node1 ~]# reboot

  • 查看配置是否生效

[root@node2 ~]# ifconfig

2.克隆出node3虚拟机

node3基础配置

  • 修改ip地址

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 注意此操作是在node3中修改ip地址
IPADDR="192.168.88.103"

  • 修改主机名

[root@node1 ~]# vim /etc/hostname 
# 注意此操作是在node3中修改主机名
node3

  • 重启虚拟机

[root@node1 ~]# reboot

  • 查看配置是否生效

[root@node3 ~]# ifconfig

3.CRT操作所有会话

SecureCRT软件: "查看 "- >  选择"交互窗口" -> 右键选择"发送交互到所有会话"

4.设置免密登录

 

启动YARN集群

注意: 如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可

③单个集群启动和关闭
[root@node1 ~]# stop-dfs.sh
[root@node1 ~]# stop-yarn.sh
​
[root@node1 ~]# start-dfs.sh
[root@node1 ~]# start-yarn.sh
④jps查看进程

jps是jdk提供的一个查看当前java进程的小工具， 全称是JavaVirtual Machine Process Status Tool

[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps
⑤一键启动和关闭

如果配置了etc/hadoop/workers和ssh免密登录,则可使用脚本一键操作Hadoop两个集群的相关进程，在主节点所设定的机器上执行

[root@node1 ~]# stop-all.sh
​
[root@node1 ~]# start-all.sh
⑥启动jobHistory服务

JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中

[root@node1 ~]# mapred --daemon start historyserver

[了解]hadoop shell

[root@node1 ~]# hdfs dfs -ls /
[root@node1 ~]# hdfs dfs -mkdir /binzi
[root@node1 ~]# hdfs dfs -touch /binzi/1.txt /binzi/2.txt
[root@node1 ~]# hdfs dfs -ls /binzi
​
[root@node1 ~]# hdfs dfs -mv /binzi /binzi2
[root@node1 ~]# hdfs dfs -cp /binzi2 /binzi3
​
[root@node1 ~]# echo hello binzi > a.txt
[root@node1 ~]# hdfs dfs -put /root/a.txt /binzi
[root@node1 ~]# hdfs dfs -cat /binzi/a.txt
[root@node1 ~]# hdfs dfs -get /binzi/a.txt /
​
[root@node1 ~]# hdfs dfs -rm /binzi/2.txt
[root@node1 ~]# hdfs dfs -rm -r /binzi
[root@node1 ~]# hdfs dfs -ls /
​
[root@node1 ~]# hdfs dfs 回车

②hive-site.xml

友情提醒该文件默认是没有的，需要我们自己创建

6.上传mysql驱动

7.初始化元数据

友情提醒按如下操作初始化成功后会在mysql中创建74张表

[root@node1 mysql 5.7.29]# cd /export/server/apache-hive-3.1.2-bin/
[root@node1 apache-hive-3.1.2-bin]# schematool -initSchema -dbType mysql -verbos

注意: 初始化成功会在 mysql中创建 74张表

[root@node1 apache-hive-3.1.2-bin]# mysql -uroot -p123456
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive3              |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.00 sec)

8.在hdfs创建hive存储目录

友情提醒前提: 启动hdfs服务

[root@node1 apache-hive-3.1.2-bin]# hdfs dfs -mkdir /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -mkdir -p /user/hive/warehouse
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /user/hive/warehouse

9.启动hive服务[重点]

  • 三台虚拟机都生成公钥和私钥

    输入命令(注意需要三次回车操作): ssh-keygen

    友情提醒三台虚拟机都执行完命令后,在 /root/.ssh 中会自动生成两个文件: id_rsa 和 id_rsa.pub

  • 分别拷贝公钥给其他虚拟机

    输入命令(注意需要输入yes和密码): ssh-copy-id node1
输入命令(注意需要输入yes和密码): ssh-copy-id node2
输入命令(注意需要输入yes和密码): ssh-copy-id node3

  • 测试免密登录

    输入命令(注意此时会直接登录成功): ssh node1
输入命令(注意此时会直接登录成功): ssh node2
输入命令(注意此时会直接登录成功): ssh node3

  • 五. 安装hadoop软件

    1.上传软件

    友情提醒使用CRT等客户端远程上传 hadoop-3.3.0-Centos7-64-with-snappy.tar.gz文件到/export/software目录下

    2.解压软件

    [root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/

    3.添加环境变量

    [root@node1 software]# vim /etc/profile
    # 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  • 修改完后重启生效

  • [root@node1 server]# source /etc/profile

    4.1修改配置文件[自动方式]

    上传文件

    友情提醒使用CRT等客户端远程上传 配置好的文件压缩包hadoop-config.tar文件到/export/software目录下

    解压文件
    [root@node1 ~]# cd /export/software/
[root@node1 software]# tar -xvf hadoop-config.tar -C /export/server/
    覆盖原有文件
    [root@node1 software]# mv -f /export/server/hadoop-config/* /export/server/hadoop-3.3.0/etc/hadoop/
[root@node1 software]# rm -rf /export/server/hadoop-config*  

    4.2配置文件详解[手动方式]

    ①hadoop-env.sh文件
    [root@node1 hadoop]# vim hadoop-env.sh
    # 在55行添加JAVA_HOME,因为Hadoop把当前的执行环境当成远程服务器,所以需要重新配置下
export JAVA_HOME=/export/server/jdk1.8.0_65
# 在440行文件末尾添加以下内容
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
    ② core-site.xml文件
    [root@node1 hadoop]# vim core-site.xml
    <!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://node1:8020</value>
</property>
​
<!-- 设置Hadoop本地保存数据路径 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/export/data/hadoop-3.3.0</value>
</property>
​
<!-- 设置HDFS web UI用户身份 -->
<property>
  <name>hadoop.http.staticuser.user</name>
  <value>root</value>
</property>
​
<!-- 整合hive 用户代理设置 -->
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
​
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>
​
<!-- 开启垃圾桶机制[可选操作] 1440 表示1440分钟也就是24小时一天的时间-->
<property>
   <name>fs.trash.interval</name>
   <value>1440</value>
</property>
    ③ hdfs-site.xml文件
    [root@node1 hadoop]# vim hdfs-site.xml
    <!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->    
    <!-- 指定secondarynamenode运行位置 -->
<property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>node2:9868</value>
    </property>
    ④ mapred-site.xml文件
    [root@node1 hadoop]# vim mapred-site.xml
    <!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->  
    <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
​
<!-- MR程序历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>node1:10020</value>
</property>
​
<!-- 历史服务器web端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>node1:19888</value>
</property>
​
<property>
 <name>yarn.app.mapreduce.am.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property>
 <name>mapreduce.map.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property>
 <name>mapreduce.reduce.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
    ⑤ yarn-site.xml文件
    [root@node1 hadoop]# vim yarn-site.xml
    <!--  友情提醒在文件的<configuration></configuration>的标签中添加以下内容:  -->    
    <!-- 设置YARN集群主角色运行机器位置 -->
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>node1</value>
</property>
​
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
​
<!-- 是否将对容器实施物理内存限制 -->
<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>
​
<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>
​
<!-- 开启日志聚集 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
​
<!-- 设置yarn历史服务器地址 -->
<property>
   <name>yarn.log.server.url</name>
   <value>http://node1:19888/jobhistory/logs</value>
</property>
​
<!-- 保存的时间7天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>
    ⑥ workers文件
    [root@node1 hadoop]# vim workers
    # 用以下内容把之前内容覆盖
node1
node2
node3

    5.拷贝软件到其他机器

  • 友情提醒nod1主机上拷贝到node2和node3中各一份

  • [root@node1 server]# scp -r /export/server/hadoop-3.3.0  root@node2:/export/server/
[root@node1 server]# scp -r /export/server/hadoop-3.3.0  root@node3:/export/server/

  • node2主机配置环境变量

  • [root@node2 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node2 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node2 server]# source /etc/profile

  • node3主机配置环境变量

  • [root@node3 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node3 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node3 server]# source /etc/profile

  • 6.hadoop集群启动

    要启动Hadoop集群，其实就是启动HDFS和YARN两个集群

    ① 数据初始化

    友情提醒首次启动HDFS必须对其进行格式化操作 : 本质是清理和准备工作,因为此时的HDFS在物理上还是不存在的

    注意： 初始化操作必须在node1中执行

    [root@node1 ~]# hdfs namenode -format
    ②单节点逐个启动
    启动HDFS集群

  • 在主节点上使用以下命令启动HDFS NameNode

    [root@node1 ~]# hdfs --daemon start namenode

  • 在每个从节点上使用以下命令启动HDFS DataNode

    [root@node2 ~]# hdfs --daemon start datanode
    [root@node3 ~]# hdfs --daemon start datanode

  • node2上使用以下命令启动HDFS SecondaryNameNode

    [root@node2 ~]# hdfs --daemon start secondarynamenode

  • 在主节点上使用以下命令启动YARN ResourceManager

    [root@node1 ~]# yarn --daemon start resourcemanager

  • 在每个从节点上使用以下命令启动YARN nodemanager

    [root@node2 ~]# yarn --daemon start nodemanager
    [root@node3 ~]# yarn --daemon start nodemanager

  • 六. 集群web-ui

    一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：

    访问HDFS的NameNode主机 : http://192.168.88.101:9870/

    访问YARN的ResourceManager主机 : http://192.168.88.101:8088/

    注意: 想要上传文件夹需要配置本地域名映射

    本地配置域名映射

    如果在windows下，去访问 node1 或者是访问 node1.itcast.cn 的时候是被不到。

    可以进入 C:\Windows\System32\drivers\etc 目录打开hosts文件,添加以下内容:

    192.168.88.101 node1.itcast.cn node1
192.168.88.102 node2.itcast.cn node2
192.168.88.103 node3.itcast.cn node3

    配置完成后,可以直接通过node1访问

    HDFS: http://node1:9870/

    YARN: http://node1:8088/

    查看计算任务jobhistory

    jobhistory: http://node1:19888/jobhistory

    七. 安装hive软件

    课程中采用远程模式部署hive的metastore服务。在node1机器上安装。

    注意：以下两件事在启动hive之前必须确保正常完成。

    1、提前安装mysql,确保具有远程访问的权限

    2、启动hadoop集群,确保集群正常能够访问

    1.上传软件

    友情提醒使用CRT等客户端远程上传 apache-hive-3.1.2-bin.tar.gz 文件到/export/software目录下

    2.解压软件

    [root@node1 software]# cd /export/software/
[root@node1 software]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /export/server/

    3.解决Hive与Hadoop之间guava版本差异

    [root@node1 software]# rm -rf /export/server/apache-hive-3.1.2-bin/lib/guava-19.0.jar
[root@node1 software]# cp /export/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/

    4.添加环境变量

    [root@node1 software]# vim /etc/profile
    # 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
#  友情提醒小技巧 : 按G + o快速到文件末尾
export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/sbin

  • 修改完后重启生效

  • [root@node1 server]# source /etc/profile

    5.修改配置文件

    ①hive-env.sh

  • 修改文件名称

    [root@node1 software]# cd /export/server/apache-hive-3.1.2-bin/conf
[root@node1 conf]# mv hive-env.sh.template hive-env.sh

  • 打开文件写入数据

    [root@node1 conf]# vim hive-env.sh
    # 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export HADOOP_HOME=/export/server/hadoop-3.3.0
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf
export HIVE_AUX_JARS_PATH=/export/server/apache-hive-3.1.2-bin/lib

  • 打开文件写入数据

    [root@node1 conf]# vim hive-site.xml
    <configuration>
<!-- 存储元数据mysql相关配置 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
​
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
​
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
​
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
​
​
​
<!-- H2S运行绑定host -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node1</value>
</property>
​
<!-- 远程模式部署metastore metastore地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://node1:9083</value>
</property>
​
​
<!-- 关闭元数据存储授权  --> 
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
</configuration>

  • 上传驱动

    上传mysql-connector-java-5.1.32.jar到 /export/software/mysql 5.7.29/ 下

  • 移动驱动

    [root@node1 conf]# cd /export/software/mysql\ 5.7.29/
[root@node1 mysql 5.7.29]# cp mysql-connector-java-5.1.32.jar /export/server/apache-hive-3.1.2-bin/lib/

  • 启动metastore服务

    一代客户端 : 启动metastore服务

    输入 命令: hive 可以直接进行数据库操作

    # 前台启动(一般不用)  # ctrl+c关闭
[root@node1 apache-hive-3.1.2-bin]# hive --service metastore
[root@node1 apache-hive-3.1.2-bin]# hive --service metastore --hiveconf hive.root.logger=DEBUG,console
​
    #后台启动 回车后进程挂起  关闭使用jps+ kill -9
[root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore &
[root@node1 apache-hive-3.1.2-bin]# hive
​
# 直接输入show databases;查看表
hive> show databases;
# 结果OK default...说明成功

  • 启动hiveserver2服务

    二代客户端 : 启动metastore和hiveserver2服务

    输入命令: beeline 两次验证

    注意: 启动hiveserver2需要一定的时间 不要启动之后立即beeline连接 可能连接不上

    [root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore &
[root@node1 apache-hive-3.1.2-bin]# nohup hive --service hiveserver2 &
[root@node1 apache-hive-3.1.2-bin]# lsof -i:10000
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    18804 root  520u  IPv6 266172      0t0  TCP *:ndmp (LISTEN)
[root@node1 apache-hive-3.1.2-bin]# beeline
​
# 先输入!connect jdbc:hive2://node1:10000连接
beeline> !connect jdbc:hive2://node1:10000
​
# 再输入用户名root,密码不用输入直接回车即可
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000:
​
# 输入show databases;查看表
0: jdbc:hive2://node1:10000> show databases;
# 结果OK default...说明成功

八. 安装sqoop软件

配置数据迁移工具，用于将关系型数据库中的数据导入 Hadoop

解压

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module/


改名：

cd /opt/module
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7


 

vi /etc/profile

# 在文件末尾添加

vi /etc/profile

# 在文件末尾添加

#SQOOP_HOME
export SQOOP_HOME=/opt/module/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
保存退出，使环境变量立即生效

source /etc/profile

#4.配置环境变量
vi /etc/profile
#添加SQOOP_HOME
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
 


source /etc/profile
#5.效果测试
cd ../lib
rz(mysql-connector-java-5.1.40.jar)#上传jar包到lib目录下
cd ../bin/
sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P
#(sqoop list-database用于输出连接的本地MySQL数据库中的所有数据库，如果正确返回指定地址的MySQL数据库信息，说明Sqoop配置完成）

2.实现数据预处理

查看数据结构内容，格式化数据

本项目主要分析的内容是薪资、福利、技能要求、职位分布这四个方面。

salary(薪资字段的数据 字符串形式)
city(城市字段的数据  字符串形式)
skillLabels(技能要求字段  数组形式)
companyLabelList(福利标签数据字段 数组)

positionAdvantage(数据形式为字符串)
linux安装Pycharm

启动Pycharm

1.数据清洗
import codecs
import pandas as pd
import json
import csv
 
from pyhdfs import HdfsClient
 
client = HdfsClient(hosts='centos72:50070', user_name='root')
hdfs_path = '/output'
#with client.open('/Jobdata/page1.csv',) as reader:
#    content = reader.read()
    # print(content)
#decode = codecs.decode(content,'utf-8')
#print(decode)
all_job_data = []
 
for page in range(1, 31):
    with client.open(f'/Jobdata/page{page}.csv', ) as reader:
        content = reader.read()
        # print(content)
    decode = codecs.decode(content, 'utf-8')
    data = json.loads(decode)
 
    if isinstance(data, list):
        df = pd.DataFrame(data)
 
        # 数据处理步骤保持不变...
        df['salary'] = df['salary'].str.replace('k', '', regex=False)
        df['companyLabelList'] = df['companyLabelList'].apply(lambda x: '-'.join(x) if x else '')
        df['positionAdvantage'] = df['positionAdvantage'].str.replace(r'[，\s,、]+', '-', regex=True).fillna('')
        df['combined_labels'] = (df['companyLabelList'] + '-' + df['positionAdvantage']).str.replace('^-',
                                                                                                     '').str.replace(
            '-$', '')
        df['skillLables'] = df['skillLables'].apply(lambda x: '-'.join(x) if x else '')
        df['jobResultData'] = df['city'] + ',' + df['salary'] + ',' + df['combined_labels'] + ',' + df[
            'skillLables']
 
        # 将处理后的'jobResultData'添加到列表中
        all_job_data.extend(df['jobResultData'].tolist())
print(all_job_data)
# 将所有数据写入到一个Pandas DataFrame
all_job_data_df = pd.DataFrame({'jobResultData': all_job_data})
print(all_job_data_df)
# 将DataFrame转换为CSV字符串
csv_data = all_job_data_df.to_csv(index=False,quoting=csv.QUOTE_MINIMAL).encode('utf-8')
 
# 指定HDFS上的文件路径
hdfs_path = '/output'
 
# 写入HDFS
# 如果文件已存在并且需要覆盖，则先删除
if client.exists(hdfs_path):
    client.delete(hdfs_path, recursive=False)
 
# 创建文件句柄，注意这里没有直接传入data参数
client.create(hdfs_path,csv_data)
 
print("所有页面的'jobResultData'已成功写入到HDFS中")

2.Hive分析

 

3.构建关系型数据库

使用 MySQL 构建关系型数据库，用于存储分析结果

数据迁移 运用sqoop进行数据迁移可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中

4.数据可视化

用eclipse建一个web页面

慎小独
关注
  • 22
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据项目实战—招聘网站大数据职位分析
05-20
在大数据项目实战中，"招聘网站大数据职位分析"是一个典型的案例，它涵盖了多个重要的IT知识点。这个项目旨在通过收集、处理、分析招聘网站上的职位信息，挖掘出行业趋势、热门技能以及人才需求等有价值的数据。 1....
大数据简历项目 关于两个联通大数据项目和一个爬虫项目
04-28
在第一个联通大数据项目——移动终端上网数据实时分析处理系统中，开发环境包括IDEA、Eclipse、Maven、JDK，系统架构由Hadoop、Zookeeper、Flume、Spark、Hive、MySQL、Sqoop和Oracle组成。此项目中，数据通过FTP...
南邮大数据存储与管理实验二
07-05
本次实验旨在通过南京邮电大学的学生实践项目——《南邮大数据存储与管理实验二》，详细介绍如何安装和配置MongoDB，并构建一个包含多节点集群的系统。此外，还将利用Python技术开发一个针对学生就业形势的在线分析...
基于Flask+pyecharts-2023年1-5月汽车销量可视化分析大屏+报告
06-19
汽车销量可视化分析是一种基于数据可视化技术的分析方法，旨在通过可视化方式展示汽车销售数据，帮助人们更加直观地了解市场趋势、市场份额和市场机会，以便制定更好的销售策略和市场规划 背景： 随着汽车市场的竞争...
基于大数据技术的专业招生、培养、就业三环联动机制研究.pdf
07-04
特别是针对高职院校教育的三个重要环节——招生、培养和就业，建立一个联动机制，不仅能够提升院校的整体办学实力，还能够帮助实现高质量的人才培养和高效率的就业服务。本文将探讨如何利用大数据技术推动专业招生、...
Spark MLlib 特征工程(上)
08-14 3193
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
软考高级第四版备考---第39天（数据管理）
u013136284的专栏
08-12 1056
5.2数据安全管理：数据安全管理是在数据安全标准与策略的指导下，通过对数据访问的授权、分类分级的控制、监控数据的访问等进行数据安全的管理工作，满足数据安全的业务需要和监管需求，实现组织内部对数据生存周期的数据安全管理。6.4数据质量提升：数据质量提升是对数据质量分析的结果，制定、实施数据质量改进方案，包括错误数据更正、业务流程优化、应用系统问题修复等，并制定数据质量问题的预防方案，确保数据质量改进的成果得到有效保持。
ElasticSearch文档数据关联关系处理
qq_44027353的博客
08-15 791
再更新操作时，对象类型和嵌套对象nested方式有一个问题，因为根对象和嵌套对象本质上它们还是存在一个文档中的，每次更新时就可以需要重新索引整个文档。ES提供了父子关联关系，通过维护parent/child的关系，分离它们，使父文档和子文档是两个独立的文档，更新其中一个文档不会影响另一个文档。创建子文档时，必须通过routing指定父文档id，保证父子文档在一个shard中，提高join查询性能。user字段如果保存的是一个对象数组，在搜索时添加两个查询条件，数组中两个对象分别满足一个条件。
谷粒商城实战笔记-175~177-商城业务-检索服务-检索查询接口开发
epitomizelu的专栏
08-13 772
搜索页面搭建完成之后，点击搜索按钮，发送参数给后台服务，后台服务根据参数从Elasticsearch中查询符合条件的数据，返回给前端。
SparkSQL
m0_73745224的博客
08-13 1017
sparkSQL操作各种数据
重塑商业生态：技术驱动下的批发供应系统开发与革新
qq_27313987的博客
08-13 408
在当今这个快速变化的商业环境中，批发供应系统作为连接生产商、分销商与零售商的关键纽带，其效率与智能化水平直接影响着整个供应链的运作效率与市场竞争力。随着信息技术的飞速发展，特别是大数据、云计算、人工智能（AI）以及物联网（IoT）等前沿技术的深度融合，批发供应系统正经历着一场前所未有的技术革新，为传统商业模式带来了颠覆性的变化。
大数据系列之：Flink Doris Connector，实时同步数据到Doris数据库
zhengzaifeidelushang的博客
08-13 948
可以通过Flink操作（读取、插入、修改、删除）支持存储在Doris中的数据。本文介绍了如何通过Datastream和Flink操作Doris。
基于车联网大数据平台的用户驾驶习惯行为画像分析
DolphinDB智臾科技
08-15 694
车联网系统中，利用大数据对驾驶行为进行研究，有助于了解驾驶员的特征，并提供优化建议。本文从用户驾驶行程中的速度偏好、驾驶风格、熟练度三个方面描述用户画像，并介绍如何使用 DolphinDB 基于 K-means 算法的聚类模型生成用户画像与个性化标签，完成数据存储、处理、特征提取、模型构建及预测等全过程。
Binance 如何使用 Quickwit 构建 100PB 日志服务(Quickwit 博客)
o__cc的博客
08-15 571
三年前，我们开源了 Quickwit，一个面向大规模数据集的分布式搜索引擎。我们的目标很宏大：创建一种全新的全文搜索引擎，其成本效率比 Elasticsearch 高十倍，配置和管理显著更简单，并且能够扩展到 PB 级别的数据。 https://quickwit.io/blog/quickwit-first-release 虽然我们知道 Quickwit 的潜力，但我们通常测试的数据量不超...
从铜都到数字先锋：贵溪市铜产业链办件智能化
最新发布
YUNDUANNET的博客
08-16 352
通过铜产业链特色事项业务全链办建设，VERYCLOUD睿鸿股份与贵溪市共同朝着打造江西省产业服务标杆的目标稳步前进，扩大服务关联范围成为贵溪市政务服务亮点，为贵溪市一体推进数字政府、数字社会、数字治理，持续深化营商环境改革，更好为贵溪市经济发展、政务服务产业服务提供强劲助力。结合铜产业业务特点，系统支持阶段化配置，把铜产业链业务划分为不同的阶段，把每个阶段相关事项打包配置到各阶段，用户不需要关注细节，打包阶段化办理，省心省力。，轻松体验快捷办理，打破时空限制，不用跑一趟，实时互动业务办理。
知识付费小程序开发的价值与意义
2401_86572348的博客
08-12 508
随着互联网的飞速发展和信息爆炸时代的到来，知识的获取与传播方式正经历着前所未有的变革。知识付费作为这一变革中的重要产物，不仅为用户提供了更加便捷、高效的学习途径，也为内容创作者和平台运营者创造了新的商业机会。而知识付费小程序，作为这一领域的创新应用，其开发的价值与意义更是不可小觑。
SpringBoot + RabbitMQ + WebSocket + STOMP 协议 + Vue 实现简单的实时在线聊天案例
liber.info
08-09 1246
WebSocket是一种在单个TCP连接上进行全双工通信的协议。它允许客户端和服务器之间的实时、双向数据传输。与传统的HTTP请求/响应模型相比，WebSocket更加高效，因为它在初次握手后，连接保持打开状态，可以不断传输数据。
四十、大数据技术之Kafka3.x（3）
Daniel的博客
08-13 775
Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端，为顺序写。（2）查看linux-102（或者linux-103、linux-104）的/usr/local/kafka/datas/first-1（first-0、first-2）路径上的文件。⑦ 删除日志，并分别修改linux-103与linux-102 的节点 id 和服务器 ip，并开启集群配置。（1）创建一个新的topic，4个分区，4个副本（因为我是单节点，所以设置了 1）
RabbitMQ的核心概念
m0_62360856的博客
08-16 258
RabbitMQ的核心概念
网约车大数据综合项目——基于MapReduce的数据清洗
06-19
网约车大数据综合项目中的数据清洗是一个关键步骤，它是利用MapReduce（分布式计算模型）处理海量网约车数据的第一步，旨在提高数据质量、一致性，并为后续分析提供可靠的基础。MapReduce的工作原理主要分为两个阶段...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值