在本地python进行mapreduce时遇到的一些麻烦

之前在服务器正常运行的程序放到本地，确报了好几个错误
执行cat input.txt | ./map.py

报错 1
sh: ./map.py: Permission denied

解决方法

#赋予可执行权限
chmod -Rf 777 文件夹路径

1解决之后

报错 2

./map.py: line 1: import: command not found
./map.py: line 4: syntax error near unexpected token `fields'
./map.py: line 4: `    fields = line.split()'

没有指定 python 执行环境编译器
解决方法
在python 文件第一行 指定编译器的环境
！！！！！！一定要把 #！ 这句话放到第一行
否则还会报错

#!/Library/Frameworks/Python.framework/Versions/3.6/bin/python3
#指定编译环境

报错三没有访问权限
成为root 执行
sudo su

解决错误
成功输出

cd cloudcomput/log_analysis
cat temp.log | ./map.py
cat temp.log | ./map.py | sort | ./reduce.py |more
cat www.limengkai.work.log | ./map.py | sort | ./reduce.py |more

message=my_hdfs.upload(‘www.limengkai.work.log’,’/sy3/temp_file1.txt’)
上传文件
检查脚本无误后，编写run.sh 脚本

配置 hadoop 的 执行命令 在安装路径的bin 文件中

HADOOP_CMD="/cloudcomput/hadoop-3.2.1/bin/hadoop"

配置 配置 streaming jar包的 路径

STREAM_JAR_PATH="/cloudcomput/hadoop-3.2.1/share/hadoop/tools/lib/hadoop-streaming-3.2.1.jar"

#配置 需要 计算的 输入文件的路径
#如果有 多个文件可以书写为 /{文件夹名称}/*.txt 或者其他格式
INPUT_FILE_PATH_1="/sy3/temp_file1.txt"

#配置 输出文件的 文件夹目录
OUTPUT_PATH="/sy3output"

在执行之前如果 存在 输出文件夹 原本会报错 ，

#所以执行之前先删除 output 文件夹 , 再 导出文件
$HADOOP_CMD fs -rm -r skipTrash $OUTPUT_PATH

Step 1.

hadoop jar streaming.jar

$HADOOP_CMD jar $STREAM_JAR_PATH
-input $INPUT_FILE_PATH_1
-output $OUTPUT_PATH
-mapper ./maplog.py
-reducer ./reducelog.py
-file ./maplog.py
-file ./reducelog.py \

#配置 mapper 步骤的 算法py文件
#即 可以在 子节点进行的计算

#配置 reducer 步骤的 算法py文件
#需要 汇总计算 的文件

指定linux 定期执行 crontab
#查看当前电脑上的所有定时任务
crontab -l
0 7 */1 * * /amyscript/sendemail.sh
20 5 1,2,3,4,5 * * /amyscript/sendtoxxx1.sh
20 5 6,7 * * /amyscript/sendtoxxx2.sh

#更改服务器上的定时任务
crontab -e
#更改成功的提示
crontab: installing new crontab

添加 该脚本 定期执行即可

查看hadoop 运算的日志计算 job
这个job记录

Finish job还没有结束
已经计算了 5分9秒

由于日志文件较大，服务器2g 运行，所以会等待一段时间