qq_41601567的博客

#Hadoop CombineTextInputFormat遇到的坑###背景combineTextInputFormat是Hadoop的一个切片机制，默认情况下，使用TextInputformat，TextInputformat按文件数切分，即使文件很小，这样会产生大量的小文件，产生大量的maptask。导致处理效率低下。而combineTextInputFormat可以将多个小文件从逻辑上规划到一个切片中。###遇到的坑当多输入时使用combineTextInputFormat，会导致多输入合并

vim小技巧使用vim分屏操作具体操作使用vim分屏操作当我们写脚本代码1时，脚本里会包含别的执行代码2，不会分屏时需要退出查看别的执行代码2，然后返回重新查看代码1，这样会降低我么你的代码效率，而使用分屏操作就可以解决这个问题。具体操作我有两个代码，mapper.py和run.sh两个代码，其中run.sh里会运行mapper.py。打开run.sh，然后输入"：sp mapper.py"，回车，这里sp是split的缩写。此时，就实现了分屏操作。...