hadoop
liujunzhong
这个作者很懒,什么都没留下…
展开
-
kafka WSL producer
背景 windows10 和windows 10 下的WSL(windows10 sub Linux)linux 在wsl中安装了 zookeeper(单节点模式) kafka 单节点模式 kafka的config/server.properties文件如下 # see kafka.server.KafkaConfig for additional details and defaults ############################# Server B原创 2020-12-26 17:14:37 · 261 阅读 · 0 评论 -
启动Hadoop start-dfs.sh Permission denied
背景:在windows10 subsystem Ubuntu上启动hadoop出现Permission Denied 原因:未生成公私钥对,设置免密登录 解决办法 在家目录生成公私钥对:ssh-keygen -t rsa 拷贝.ssh目录下的id_rsa.pub内容到authorized_keys文件中 但是,此目录下没有authorized_keys文件,那我们就新建一个文件,命名为authroized_keys 但是,还是不行,我们需要修改authorized_keys的权限为可执行文件 c原创 2020-05-18 12:05:22 · 1490 阅读 · 0 评论 -
MapReduce运行过程简述
MapReduce整体分为Map阶段,shuffle阶段和reduce阶段 map阶段 对输入的文件进行分片InpuSplit,每个分片由一个Mapper进程进行处理 对输入的分片内容按照一定的规则解析成键值对。默认是每行偏移量为key,每行的内容为value 进入map方法进行用户的业务处理,然后输出到环形缓冲区,减少对磁盘的访问次数 ...原创 2019-11-26 14:47:52 · 2258 阅读 · 0 评论