记录（2）

最新推荐文章于 2022-12-19 10:00:00 发布

我不会啊T^T

最新推荐文章于 2022-12-19 10:00:00 发布

阅读量85

点赞数

分类专栏： Spark+hadoop自学问题记录文章标签： mapreduce

本文链接：https://blog.csdn.net/qq_36996018/article/details/105751199

版权

Spark+hadoop自学问题记录专栏收录该内容

3 篇文章 0 订阅

订阅专栏

MR使用过程问题记录

1.mapreduce去重原理
数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。在MapReduce流程中，map的输出<key,value>经过shuffle过程聚集成<key,value-list>后交给reduce。我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器，无论这个数据出现多少次，只要在最终结果中输出一次就可以了。具体就是reduce的输入应该以数据作为key，而对value-list则没有要求（可以设置为空）。当reduce接收到一个<key,value-list>时就直接将输入的key复制到输出的key中，并将value设置成空值，然后输出<key,value>。

2.idea使用git push到码云出现push rejected
再push的项目文件夹右键 git bush here 然后pull origin master --allow-unrelated-histories
如不报错，再次push就可以成功
报错


qmq@DESKTOP-3DQQ5RJ MINGW64 /f/数据处理/DataAnalysis (master)
$ git pull origin master --allow-unrelated-histories
fatal: 'origin' does not appear to be a git repository
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

使用git remote -v查看repository 名字将origin修改即可，如下：

qmq@DESKTOP-3DQQ5RJ MINGW64 /f/数据处理/DataAnalysis (master)
$ git remote -v
数据处理        https://gitee.com/qmqzt/data_processing.git (fetch)
数据处理        https://gitee.com/qmqzt/data_processing.git (push)

qmq@DESKTOP-3DQQ5RJ MINGW64 /f/数据处理/DataAnalysis (master)
$ git pull 数据处理 master --allow-unrelated-histories
remote: Enumerating objects: 4, done.
remote: Counting objects: 100% (4/4), done.(省略）

之后再次提交，successful

3.HTML引入css

<head>
    <link rel="stylesheet" type="text/css" href="style.css">
</head>

<script src="/js/echarts.js"></script>

4.layui加载js

<script src="../layui/layui.js"></script>
<script>
//一般直接写在一个js文件中
layui.use(['layer', 'form'], function(){
  var layer = layui.layer
  ,form = layui.form;
   
  layer.msg('Hello World');
});
</script>

非模块化
<script src="../layui/layui.all.js"></script>
<script>
//由于模块都一次性加载，因此不用执行 layui.use() 来加载对应模块，直接使用即可：
;!function(){
  var layer = layui.layer
  ,form = layui.form;
  
  layer.msg('Hello World');
}();
</script>