自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.

解决:移动hive/lib下的hive-common-3.1.3.jar包到sqoop。Sqoop从HDFS导入Hive 运行报错解决记录。

2024-02-19 20:53:42 144 1

原创 配置hive on spark

linux虚拟机配置Spark On Hive

2023-03-15 14:55:52 628

原创 安装配置Spark

完全分布式安装spark

2023-03-15 14:47:26 537

原创 flume两种简单功能配置

flume两种简单功能配置示例1实现功能(1)编写配置文件(2)启动Flume Agent(3)测试示例2实现功能(1)修改配置文件(2)启动Flume Agent(3)测试(4)查看结果前提:flume已成功安装且已正确配置相应的环境变量示例1实现功能实现功能:监控指定目录,当目录有新的日志文件产生时,把日志一行一行打印到控制台。(1)编写配置文件创建和修改配置文件。cd /opt/module/apache-flume-1.8.0-bin/confvi agent1.conf

2022-05-15 23:43:31 567 2

原创 记一次安装 wget 的记录

一次安装wget的记录

2022-04-22 10:01:03 621

原创 大数据基础知识复习

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录一、大数据要具备哪些特征?二、大数据批处理的常见组件有哪些?1. HDFS(Hadoop Distributed File System)2. MapReduce3. YARN4.Hive5.Pig6.Spark7.FlumeFlume8.Sqoop9.Hbase三、什么是大数据四、hadoop之父是谁?五、基础选择六、简述Hadoop的特点七、Hadoop生态圈组件有哪些?简述各组件的功能八、列举Hadoop HDFS 的组件,.

2022-04-16 17:33:21 3080 2

数据库mysql57-community-release-el5-7.noarch.rpm安装包

数据库mysql57-community-release-el5-7.noarch.rpm安装包

2024-02-20

空气污染 springboot 数据可视化大屏展示

世界空气污染数据分析可视化大屏展示。后台分别使用hive、hive on spark、SparkSQL以及Spark Strimming对世界空气污染指数进行数据分析,分析得到的结果存到MySQL中。系统框架使用springboot实现。大屏展示分别包含世界地图、词云图、柱状图、折线图等。

2023-03-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除