![](https://img-blog.csdnimg.cn/direct/42a18c859115411ab4a7e4218c7df10f.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 82
记录大数据相关知识
笨小孩※
心诚则灵
展开
-
【大数据生态】Flume学习笔记
如果正在写入新行,则该源将在等待写入完成时重试读取它们。Multiplexing的原理是,根据 event 中 Header 的某个 key 的值,将不同的 event 发送到不同的 Channel中,所以我们需要自定义一个 Interceptor,为不同类型的 event 的 Header 中的 key 赋予不同的值。在该案例中,我们以端口数据模拟日志,以数字(单个)和字母(单个)模拟不同类型的日志,我们需要自定义 interceptor 区分数字和字母,将其分别发往不同的分析系统(Channel)。原创 2024-03-30 22:05:05 · 1337 阅读 · 0 评论 -
【大数据生态】HIVE运行卡死没反应
其实呢,我最开始就开始尝试打开yarn客户端界面了,但是没有打开,其实我发觉到我用的地址错误了,因为yarn并没有部署在了hadoop102上面,而我发觉之后立马改正,可还是打不开,我不由得觉得我的地址是不是真的输错了,哈哈哈哈,挺逗的,卡了好几分钟,最后在部署yarn的虚拟机(hadoop103)上面jps了一下,发现真的没有启动集群。最后,我发现这位博主写的其实没错,没有解决是因为我没进行前面的操作(1,2,3,4)。我也是直接进行了最后的3条指令,宝贝,结果还是卡着了。等待了几分钟,无果,被迫。原创 2024-03-24 18:25:00 · 1243 阅读 · 1 评论 -
【大数据生态】Hive的部署
https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar将驱动放置在hive下的lib包中。hive启动报错的原因是后者。3、将jar包变成一致的版本:删除hive中低版本jar包,将hadoop中高版本的复制到hive的lib中。到目前位置,Hive的配置已经完成,现在在启动Hive前,需要先初始化Hive所需的元数据库。hive:小兄弟,没想到吧,咱可不是随便的人。原创 2024-03-23 21:43:40 · 1166 阅读 · 0 评论 -
hadoop学习中遇到的问题一
由于看视频总是断断续续,经常遇到各种报错,现将遇到的问题进行总结。原创 2024-02-28 16:44:40 · 1302 阅读 · 0 评论 -
完全分布式运行模式
配置集群、配置ssh、群起集群原创 2024-02-27 19:46:56 · 1697 阅读 · 1 评论 -
Hadoop运行环境搭建
(3)source一下/etc/profile文件,让新的环境变量PATH生效。(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本。 (1)新建/etc/profile.d/my_env.sh文件。(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件。 (2)打开/etc/profile.d/my_env.sh文件。(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)(1)修改/etc/hostname文件。原创 2024-02-11 11:08:31 · 3362 阅读 · 1 评论 -
【大数据】电商推荐系统
此篇博客主要记录一下商品推荐系统的主要实现过程。一、获取用户对商品的偏好值代码实现package zb.grms;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.DoubleWritable;import org.apache.hadoop.io原创 2024-02-05 23:00:26 · 3276 阅读 · 2 评论 -
HDFS入门基础
在现代的企业环境中,海量数据超过单台物理计算机的存储能力,分布式文件系统应运而生,对数据分区存储于若干物理主机,管理网络中跨多台计算机存储的文件系统。HDFS只是分布式文件管理系统中的一种。原创 2024-01-22 11:41:21 · 1006 阅读 · 0 评论 -
VMnet1、VMnet8到底是什么?
如何上虚拟机上网呢?这篇文章希望解决您的困惑,特此记录!原创 2024-01-16 12:47:25 · 3416 阅读 · 3 评论 -
【大数据】Linux命令
对linux命令的复习原创 2024-01-14 12:17:32 · 1514 阅读 · 1 评论