- 博客(10)
- 收藏
- 关注
RSS订阅
原创 如何编写MR商品点击率统计程序
主要是对package检查是否有效，科台你修install：翻译：安装：将包安装至本地仓库，以让其它项目球赖site；<LongWritable, Text,Text,LongWritable>分别对应《k1的类型,V1的类型,k2的类型,v2的类型》<Text, LongWritable,Text,LongWritale>分别对应《k2的类型,v2的类型,k3的类型,v3的类型》翻译：打包：将工程文件打包为指定的格式，M如JAR，WAR等（看你项目的pom。②validate：翻译：验证；
2023-11-25 00:49:07
914
原创 Flume+kafka配置并存储数据
Flume可以将数据从多个源收集和聚合，然后将其发送到Kafka中，Kafka可以将数据分发到多个消费者和系统中。Flume 是一个可靠地收集、聚合和移动大量日志和事件数据的工具，而Kafka则是一个高吞吐量的分布式消息队列，用于将大量数据流式传输到各个系统中。通过Flume的Kafka Source从Kafka Topic中读取数据，然后将数据发送到下游系统中。将Flume的数据通过Flume-Kafka Sink发送到Kafka Topic中。3.使用Flume的Kafka Source。
2023-11-19 15:37:53
532
原创 Zookeeper以及kafka的安装（Kafka依赖于）
从名字上直译就是动物管理员，动物指的是 Hadoop 一类的分布式软件，管理员三个字体现了 ZooKeeper 的特点：维护、协调、管理、监控。
2023-11-11 17:42:17
217
1
原创 什么是Flume以及如何安装Flume
是一个可分布式日志收集系统，为hadoop相关组件之一。Flume可以采集文件，数据包（网络端口）、文件夹、kafka、mysql数据库等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。
2023-11-05 15:29:02
158
1
原创 集群启动 ！启动！ 启动！ 还有这个——停止！
- 用于指定namenode地址在机器master上-->-- 指定MapReduce运行时框架，这里指定在yarn上-->-- 指定yarn集群的管理者（resourcemanger)的地址-->(第一次部署才格式化，不需要每次都格式化，如果出错就删除data再格式化）--为secondary namenode配置所在的IP和端口-->-- 用于配置hadoop的数据目录-->--指定HDFS副本的数量，不能超过机器节点数-->1.切换目录和编辑hadoop.sh集群控制文件。
2023-10-13 14:26:47
372
原创 格式化怎么做？看我准没错！
③ 配置yarn-site.xml。④配置 mapred-site.xml。⑥ 编辑hadoop-env.sh文件 ：vi hadoop-env.sh。因为 作者大大电脑原因请接下集观看。例：scp -r hadoop-3.2.2/ root@hadoop2: /opt/server/hadoop-3.2.2/(2)修改dfs脚本文件(将用户指定root）①配置core-site.xml。②配置hdfs-site.xml。1.拷贝配置环境以及环境变量。（3）修改yarn脚本文件。
2023-10-02 19:31:06
36
原创 如何安装HADOOP集群，不会看这里哦
(jdk路径看自己下载的，-C后接解压路径，要在tage下解压到server下） hadoop同理。①创建opt文件，其次再opt文件下创建tage（放置压缩包）和server目录（放置解压文件）③解压后到server目录下ll查看server下是否有解压后的文件。hadoop2/3同，将密钥拷贝到hadoop1/3理。+版本 / 名称（hadoop或jdk）创建软连接。⑤测试免密：ssh hadoop1/2/3。以下是拷贝成功参考图。，将密钥拷贝到hadoop1/3。2.hadoop和jdk的安装。
2023-09-30 10:35:24
38
原创 VMWare的相关配置及FinalShell的安装与搭建
名称采用hadoop1、hadoop2、hadoop3（为了后面方便处理），位置我们可以在D盘创建一个文件夹将这些文件归类。(开放式终端)，如果在用户名后显示的是美元符号我们可以输入。wq是保存并退出，q!最后保存并退出，hadoop2,hadoop3 步骤一样。(1).用户登录后我们要先查看IP地址，先点击选择。（2）选择程序光盘映像文件，选择浏览。（4）.虚拟机名称以及位置、内存。（1）.选择自定义（高级）类型。（vim是编辑 后面是路径）（3）.设置用户名和密码。(2).修改IP地址。
2023-09-16 13:23:48
310
1
原创 pycharm安装requests插件时，出现版本问题该如何处理
1.先win+r键进入命令提示符输入sysdm.cpl查看python版本，然后更改python版本如果还是不行就去激活pycharm，重新安装环境，保证路径正确。代码：python -m pip install --upgrade --force -reinstall pip。3. 将python卸载重新安装，如果多个版本重合并且其中一个不能卸载，我们可以使用360全家桶和geek（慎用）(2)光标处执行python -m pip install -U pip 然后进行验证。
2023-09-09 12:30:22
321
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人