大数据项目实战
文章平均质量分 95
一只笨猫猫
大数据打工人
(23年5月开始更新博客!!!)
展开
-
大数据项目实战——基于某招聘网站进行数据采集及数据分析(六)
第六章 数据可视化掌握 Sqoop 数据迁移工具的迁移工具的使用熟悉关系型数据库 MySQL掌握 SSM JavaEE 开发框架的整合及应用掌握 ECharts 前端框架的使用本篇将应用 Sqoop 将 Hive 中的表数据导出到关系型数据库 MySQL 中,方便后续进行数据可视化处理,使抽象的数据转化为图形化表示,便于非技术人员的决策和分析。在上篇中,使用 Hive 完成数据分析过程后,分析结果数据存储在 HDFS 上(Hive 中数据用 HDFS 进行存储),为了方便后续进行数据可视化处理,需要将原创 2022-06-13 01:29:58 · 7790 阅读 · 10 评论 -
大数据项目实战——基于某招聘网站进行数据采集及数据分析(五)
大数据项目实战第四章 数据预处理文章目录大数据项目实战学习目标一、设计 Hive 数据仓库1、创建事实表 ods_jobdata_origin二、实现数据仓库1.引入库2.读入数据总结学习目标了解数据分析·了解数据仓库掌握 Hive 的操作掌握 HQL语句的使用数据分析师大数据价值链中最重要的一环,目的是提取数据中隐藏的数据,以便于提供有意义的建议以致做出正确的决策。通过数据分析,人们可以从天花缭乱的数据中萃取和提炼有价值的信息,从而找出研究对象的内在规律。本篇介绍如何通过数据分析技术对上原创 2022-05-25 12:37:18 · 6875 阅读 · 11 评论 -
大数据项目实战——基于某招聘网站进行数据采集及数据分析(四)
大数据项目实战第四章 数据预处理文章目录大数据项目实战学习目标一、分析预处理数据1)salary2)city3)skillLabels4)companyLabelList、positionAdvantage二、设计数据预处理方案三、实现数据的预处理1、创建并配置工程四、将数据预处理程序提交到集群中运行总结学习目标了解数据预处理流程掌握编写 MapReduce 程序的方法掌握 HDFS Shell 的基本使用掌握 MapReduce 程序的两种运行模式对原始数据进行预处理是大数据分析与应用过原创 2022-05-17 22:43:51 · 4836 阅读 · 14 评论 -
大数据项目实战——基于某招聘网站进行数据采集及数据分析(三)
大数据项目实战第三章 数据采集文章目录大数据项目实战学习目标一、分析与准备1、分析网页结构2、数据采集环境准备二、采集网页数据1.创建响应结果 JavaBean 类2.封装 HTTP 请求的工具类1)定义三个全局变量2)编写 packageHeader() 方法3)编写 packageParam() 方法总结学习目标掌握 HDFS API 的基本使用熟悉 HttpClent 爬虫的使用方法一、分析与准备本篇主要对要采集的数据结构进行分析以及创建编写数据采集程序的环境,为最终编写数据采集程原创 2022-05-10 11:21:14 · 5704 阅读 · 15 评论 -
大数据项目实战——基于某招聘网站进行数据采集及数据分析(二)
大数据项目实战第二章 搭建大数据集群环境文章目录大数据项目实战学习目标一、安装准备二、使用步骤1.引入库2.读入数据总结学习目标了解虚拟机的安装和克隆熟悉虚拟机网络配置和 SSH 服务配置掌握 Hadoop 集群的搭建熟悉 Hive 的安装掌握 Sqoop 的安装搭建大数据集群环境是开发本项目的基础。本篇将通过在虚拟机中构建多个Linux操作系统的方式来搭建大数据集群环境。一、安装准备Hadoop本身可以运行在Linux,Windows 以及其他一些常见操作系统之上,但是 Had原创 2022-05-06 00:52:30 · 6492 阅读 · 3 评论 -
大数据项目实战——基于某招聘网站进行数据采集及数据分析(一)
大数据项目实战第一章 项目概述文章目录大数据项目实战第一章 项目概述学习目标一、项目需求和目标二、预备知识三、项目架构设计及技术选取总结学习目标掌握项目需求和目标了解项目架构设计和技术选型了解项目环境和相关开发工具理解项目开发流程在人力资源管理领域,网络招聘近年来早已凭借其范围广、信息量大、时效性强、流程简单而效果显著等优势,成为企业招聘的核心方式。随着大数据渐渐融入人类社会生活的各个领域,如何使用大数据优化企业招聘管理,提升企业招聘有效性,是值得深入探讨的现实课题。文章通过一个招聘网站原创 2022-05-02 17:56:35 · 21328 阅读 · 9 评论