jamsonzan
码龄8年
求更新 关注
提问 私信
  • 博客:1,976
    问答:586
    2,562
    总访问量
  • 3
    原创
  • 1
    粉丝
  • 31
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
加入CSDN时间: 2017-06-18
博客简介:

weixin_39216439的博客

查看详细资料
个人成就
  • 获得1次点赞
  • 内容获得0次评论
  • 获得0次收藏
  • 博客总排名1,796,407名
创作历程
  • 2篇
    2019年
  • 1篇
    2018年
成就勋章

TA关注的专栏 1

TA关注的收藏夹 0

TA关注的社区 4

TA参与的活动 0

兴趣领域 设置
  • 大数据
    mysqlredis
  • 后端
    架构
创作活动更多

新星杯·14天创作挑战营·第13期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛!注: 1、参赛者可以进入活动群进行交流、互相鼓励与支持(开卷),虚竹哥会分享创作心得和涨粉心得,答疑及活动群请见:https://bbs.csdn.net/topics/619781944 【进活动群,得奖概率会更大,因为有辅导】 2、文章质量分查询:https://www.csdn.net/qc

76人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

golang channel 关闭之比优雅方案更优雅的方案

如果没了解过优雅方案,可以看一下这个简书如何优雅地关闭Go channel。在我看来这些方案不优雅!不灵活!不实用!比如1个消费者N个生产者的情况下,如果要求消费者要把channel消费完该怎么处理?要做到优雅,我觉得有3点:消费者不关闭channel 消费者必须把channel内的数据消费完 channel必须在没有生产者使用时被关闭我们只要做好第3点,第1第2点唾手可得。...
原创
博文更新于 2019.10.09 ·
612 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

spark两个节点2.2GB数据的orderby算子测试(上)

我们的任务就是分析orderby算子的流程,并用数据验证,最终总结优化方法。spark的orderby算法,有点像桶排序,有三个阶段:1. 抽样确定bound(水塘抽样算法,随机从n个元素中选择k个,但抽样过程中无法知道n)2. 根据bound进行shuffle write3. shuffle read 并在内存中排序2.2GB数据集共5百万条记录保存在master...
原创
博文更新于 2019.08.23 ·
1005 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

spark两个节点2.2GB数据的orderby算子测试(下)

与(上)的不同点:1. 输入数据在两台机器上都有拷贝,读取时直接本地读取2. 直接输出数据到本地,每台机器上输出的是自己运行的分区读取数据时slave5仍然只读了4个分区,等会可以看出原因,读取数据时的tasks如下:这就导致了这次的jobs,stages,tasks的分配和上次比可以说是一样,再上一张shuffle read的总览图:下面是ga...
原创
博文更新于 2019.08.23 ·
308 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

http chunk数据接收问题

答:

这不很明显是 ReadAll() 的锅吗
补充:
我们都知道ReadAll(io.Reader)会一直读到io.EOF才返回

当 request 的Transfer-Encoding为chunked时,req.Body的数据源定义为ChunkedReader:
图片说明
如果不是tcp连接异常中断,这个ChunkedReader只有读到我们chunked编码协议的最后一行,也就是“0\r\n”才返回io.EOF。
要解决这个问题,可以使用ReadString('\n')之类的,具体看实时处理的数据怎么定义。

回答问题 2019.07.18