- 博客(3)
- 收藏
- 关注
RSS订阅原创 linux内网下安装python依赖包
依赖包下载地址https://pypi.org/project/在上面这个网址中搜索需要安装的依赖包，并下载相应版本的whl文件或tar.gz文件whl文件安装在pip3环境变量配置好的前提下，将whl文件上传到linux服务器，并执行如下命令pip3 install whl文件名tar.gz文件安装在python3环境变量配置好的1前提下，执行如下命令首先解压tar.gz文件:tar -xzf tar.gz文件名切换到解压目录：cd 解压出来的文件进行安装：python3
2021-05-06 15:20:40
903
原创 【MRJob】使用python3完成centos中的hadoop mapreduce操作
MRJobmrjob是python的mapreduce编程接口，可以很方便的完成单层或多层map-reduce任务。现利用mrjob完成最简单的字频统计任务。1.数据与脚本我们要统计的文本如下：a b ca bd d将其保存并命名为text文件[hadoop@localhost workspace]$ cat texta b ca bd d相应的py程序如下[hadoop@localhost workspace]$ cat test3.py#!/usr/bin/python
2021-04-24 14:19:58
769
原创 记一次MRJob在centos中hadoop运行512和256错误解决方案
512错误解决（好像是512，反正是5开头）将基于mrjob写的mapreduce python程序在hadoop上运行时会出现512错误，其原因很简单，是因为没有运行yarn（hadoop的任务调度程序），请参考网络上的相关配置教程对相应xml进行配置后启动yarn，512错误便能得到解决。个人配置及启动流程如下，供参考：1.mapred-site.xml文件位于/usr/local/hadoop/etc/hadoop目录下，配置如下：<configuration> &
2021-04-24 13:02:33
671
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人