大数据
狼之鸿
把时间花在进步上,而不是抱怨上
展开
-
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
hadoop中运行mapreduce出现PipeMapRed错误排查在执行mapreduce过程中发现此错误后进行排查,一般都是因为代码出现错误导致的,之前有过几次经验,将错误可能出现的地方列举出来:1. run.sh检查run.sh,可能执行过程中mapper_func写成mapper_fun,找不到此方法,也可能执行命令本地没有white_list,偏偏加一句white_list执...原创 2018-07-06 09:32:35 · 6617 阅读 · 0 评论 -
pycharm在windows上创建项目代码运行失败问题
1.在windows上pycharm开发完成代码后,同步到linux上发现,都是报错,仔细查看代码,并没有错,原因就是文件格式不对。 解决办法就是修改pycharm配置: file-setting下 左侧code style line separator下拉选择unix就可以了 具体情况请参考:https://www.cnblogs.com/sunface/p/5145315.html...原创 2018-07-06 11:14:58 · 1415 阅读 · 0 评论 -
pycharm做mapreduce任务时,单独map和reduce调试技巧
上一节我们在使用pycharm出现不合法字符找到了解决的方法,就是配置编写环境为unix就解决了,但是日常开发中,少不了调试,在vim中开发mapreduce任务暂时没找到更好的调试方法,那么我们接下来学习下pycharm中是怎么调试的。1.先大体了解下目录情况2.map.py调试 对于白名单的代码应该很熟悉了,现在我们将主方法注释,用mapper_func方法调用map的函数,修改...原创 2018-07-06 23:12:50 · 1611 阅读 · 0 评论 -
小白需要了解的统计学基础概念
1.统计学 统计学可以分为:描述统计学与推断统计学 描述统计学:使用特定的数字或图表来体现数据的集中程度和离散程度。例:每次考试算的平均分,最高分,各个分段的人数分布等,也是属于统计学的范围。 推断统计学:根据样本数据推断总体的数据特征。例:产品质量检查,一般采用抽检,根据所抽样本的质量合格率作为总体的质量合格率的一个统计 应用:统计学的应用十分广泛,可以说,只要有数据,就有统计学的用武之...原创 2018-07-28 18:15:52 · 8071 阅读 · 0 评论