霑潇雨-CSDN博客

原创 Last 4096 bytes of prelaunch.err :Last 4096 bytes of stderr :错误: 找不到或无法加载主类 org.apache.hadoop.mapr

无法加载主类 MRAppMaster，表明YARN未找到MapReduce的ApplicationMaster类。3.重新输入代码，解决问题。

2025-09-08 16:31:23 32

原创提交mapreduce任务到yarn中执行（单词计数）

hadoop jar hadoop-mapreduce-examples-3.3.1.jar java类名程序参数1 程序参数2。6.统计结果保存在输出路径中的part-r-00000文件。4.使用命令将mapreduce程序提交到yarn中执行。在单词计数中程序参数1为输入路径，程序参数2为输出路径。words.txt(由单词组成，用空格隔开）也可以在yarn的可视化网站上查看，更加清晰。3.在hdfs中创建输入路径，和输出路径。2.创建一个数据文件。

2025-09-08 16:26:40 22

原创 Hadoop集群部署之yarn和mapreduce部署

（共有三台虚拟机node1,node2,node3)其中node1为主节点即为运行namenode和resourcemanager。最后可以在浏览器输入node1:8088进入网页可以更直观的看到我们的yarn是怎么运行的。yarn --daemon start +各进程名称进行启动。至此完成mapreduce,yarn集群完成配置。将我们配置好的文件复制到node2,node3。大家可以自己操作一下，只要细心就没问题！2.配置yarn-site.xml文件。1.配置yarn-env.sh文件。

2025-09-08 10:35:43 85

原创 JetBrains产品(如Pycharm)中Big Data Tools插件的配置

摘要：在JetBrains产品中配置Hadoop开发环境需三步：1)下载插件；2)设置HADOOP_HOME环境变量并重启电脑；3)连接虚拟机集群时，将URL中的localhost改为虚拟机IP，保留端口号，输入Hadoop用户名，测试连接成功会显示绿色对号。注意环境变量配置后必须重启生效。

2025-09-07 16:09:37 180

原创 Python爬虫技术获取某网站数万条北京租房数据，分析真实的房租情况，包括数据获取、数据清洗预览、数据分析可视化（第三部分：数据可视化及分位数回归结果）

df = df.rename(columns={'价格(元/月)': 'price', '面积': 'area'})results_df.to_excel('分位数回归结果.xlsx', index=False)'截距': result.params.iloc[0], # 使用iloc避免警告。joint_plot.fig.suptitle('北京租房价格与面积关系')df = df[['价格(元/月)', '面积']].dropna()plt.xlabel('价格 (元/月)')# 5. 保存分析结果。

2025-06-26 21:01:11 337

原创 Python爬虫技术获取某网站数万条北京租房数据，分析真实的房租情况，包括数据获取、数据清洗预览、数据分析可视化（第二部分：数据清洗）

df['面积'] = df['面积'].str.replace('㎡', '').replace('仅剩\d+间', pd.NA, regex=True)print(f"文件大小：{os.path.getsize(output_file) / 1024:.2f} KB")df['面积'] = pd.to_numeric(df['面积'], errors='coerce')df['面积'] = df['面积'].astype(str)print(f"有效面积数据量：{len(df)}条")

2025-06-26 20:59:26 272

原创 Python爬虫技术获取某网站数万条北京租房数据，分析真实的房租情况，包括数据获取、数据清洗预览、数据分析可视化(第一部分：数据获取)

price_text = price_elem.em.text.replace('元', '').strip() if price_elem and price_elem.em else ""return df.rename(columns={'price': '价格(元/月)', 'area_size': '面积'})sns.scatterplot(x='面积', y='价格(元/月)', data=data, alpha=0.6)plt.ylabel('价格(元/月)')

2025-06-26 20:58:04 371

原创下载ECharts.min.js文件

摘要：本文介绍了在线定制下载Apache ECharts的步骤：首先在官网拉到页面底部点击"在线定制"，选择所需图表类型后，再次下拉点击下载按钮。下载完成后系统会弹出保存界面，用户只需选择存储位置即可完成整个下载过程。整个过程需耐心等待文件生成和下载完成。

2025-06-17 21:12:12 445

原创 R语言：简单的apriori算法案例

本文使用R语言分析购物篮数据，构建关联规则模型。首先创建包含5笔交易的商品数据集，处理缺失值后转换为交易型数据。通过apriori算法挖掘频繁项集，设置支持度0.01和置信度0.5的阈值生成关联规则，并按置信度降序排序输出结果。使用的核心R包包括caret、arules和reshape2，完整展示了从数据预处理到规则挖掘的分析流程。

2025-06-17 20:57:38 398

原创 python案例：简单的贪吃蛇小游戏

message("你输了!按 Q 退出或按 C 重新开始", red)pygame.display.set_caption('贪吃蛇游戏')def gameLoop(): # 创建一个函数，控制游戏循环。# 设置蛇的初始位置和大小。# 初始化 Pygame。# 初始化蛇的起始位置。# 检查蛇是否碰到自己。# 检查食物是否被吃掉。

2025-06-06 20:33:12 415

原创 python案例：简单的魂斗罗小游戏

player_hit_list = pygame.sprite.spritecollide(player, enemy_bullets, True) # 检测玩家与敌人子弹碰撞。self.image = pygame.Surface([BULLET_WIDTH, BULLET_HEIGHT]) # 创建敌人子弹的矩形图像。screen = pygame.display.set_mode((SCREEN_WIDTH, SCREEN_HEIGHT)) # 创建窗口。

2025-06-06 20:31:46 1066

原创 python网络爬虫案例：豆瓣电影评分TOP250

(.*)</span>')#评分。#findtitle=re.compile(r' <div class="title">(.*>)</div>')#名字。)" target="_blank">')#链接。findjujle=re.compile(r'<span>(\d+)人评价

2025-05-26 19:36:39 246

原创 VS中遇到的Linq To SQL工具的相关问题

首先找到下面的文件路径：C:\Program Files\Microsoft Visual Studio\2022\Community\Common7\IDE\ItemTemplates\Web\CSharp。完整复制刀2052文件夹中，即可解决。将1033文件夹中的。

2025-05-26 16:23:41 273

weixin_74850968的博客