自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Alian_W的博客

沉淀中....没死

  • 博客(108)
  • 资源 (8)
  • 收藏
  • 关注

原创 第二十一章:生长

方宇航习惯"指挥",不习惯"执行"。他管过200人的团队,经历过从0到1和从1到100的全过程,简历上全是"增长"和"规模化"的关键词。"你们现在需要的不是VP——是能和你一起'扛'的人。"方宇航,"林晚打断了他,"我尊重你的专业能力。在大厂,VP有绝对的权力。"林总,"方宇航说,"我觉得你对我的定位可能有一些误解。更麻烦的是——方宇航带来的五个人,在公司里形成了一个"小圈子"。"一条线是你的技术理想——做你想做的架构、你想做的AI模型。苏晴继续说:"而且——你有没有注意到,方宇航带来的人,只听方宇航的。

2026-06-02 11:44:48 174

原创 第二十章:竞合

在大公司的逻辑里,'前员工创业做竞品'是最不可原谅的事情之一——不是因为你在抢他们的客户,是因为你在证明'离开蓝鲸你也能活'。我们的核心竞争力是——我们对'企业知识管理'这个场景的理解,是用32个客户的实战打磨出来的。"蓝鲸To B部门的销售总监刘强,你应该认识——他手下的客户经理被华东银行拒绝了之后,直接把你们的名字上报了。以前加班是"被要求",现在加班是"必须做"。以前出差是"公司安排",现在出差是"客户需要"。以前请假需要"审批",现在——连"请假"这个概念都不存在了,因为没有人在替你顶。

2026-06-02 11:43:27 222

原创 第十九章:从0到1

他的技术不是独家的,他的团队不是不可替代的,他的客户关系是零。他看着窗外的黑暗,想起了八年前入职蓝鲸的那个晚上——他躺在出租屋的床上,盯着天花板,想着"从今天起,没有人再给你布置作业了"。老李来的原因不是因为"薪资"或"期权",是因为——他想做一件有意义的事。他有一个特点——他会问非常尖锐的问题。林晚不知道这是"好消息"还是"坏消息"——"下周再来"可能是"我还在考虑",也可能是"我要再看看你的进展"。理由五花八门——"方向太小了""你们团队没有连续创业者""企业服务赛道太慢了""AI现在的泡沫太大了"。

2026-06-01 10:41:21 86

原创 第十八章:辞职

国内做企业知识管理的公司有十几家,但大部分是"传统文档管理"的升级版——加了一些AI功能,但核心架构还是"文件存储+搜索"。在林晚的认知里,周航一直是一个"商人"——理性、冷酷、只看数据。剩下20%——融资、第一个客户、产品MVP——这些是"做了才知道"的。他早上九点到公司,处理了几封邮件,签了几份文件,把工位上的东西装进了一个纸箱——一个马克杯、一个键盘、几本技术书、一个旧的笔记本。笔记本里记着他八年来的"踩坑记录"——从第一条"文档≠实际"到第三十三条"80%的准备+20%的勇气"。

2026-06-01 10:41:07 77

原创 第十七章:天花板

他想了想——他在蓝鲸积累了八年的经验:数据方向的技术深度、跨部门协作的方法论、团队管理的体系、对To B业务的理解、以及——最重要的——他在AI方向上看到了一个真正的机会。王总在一次部门会议上说:"林晚的数据智能产品线这两年做得不错——AI能力的落地、客户满意度的提升、团队的培养,都有目共睹。在蓝鲸这个地方,"时机不到"是一个万能的拒绝理由——它不否定你的能力,不否定你的贡献,只是说"现在不是时候"。他一直在做的事情是——王总告诉他"做AI",他就做AI。他是在"执行别人的决策",不是"制定自己的决策"。

2026-06-01 10:40:52 58

原创 第十六章:体系

"你们用了这个系统之后,会产生的数据反馈——比如'哪些客户的流失风险最高'、'哪些因素导致了客户流失'——这些反馈对我的数据中台的优化非常有价值。你说这个方案好——好在哪里?"不管你怎么选,"张磊说,"记住一件事——你学到的东西是谁都拿不走的。在蓝鲸的前三年,他吃了很多"信息不对称"的亏——不知道高层在想什么、不知道其他部门在做什么、不知道自己的工作在全局中的位置。数据证明——他的"经验判断"是对的,但优化幅度没有他预期的那么大。林晚看着他,忽然意识到——小李不是"技术一般",是"技术不是他的长处"。

2026-06-01 10:40:36 175

原创 第十五章:向上

这是事实,但对一个拿到翻倍offer的人来说,"不稳定"不是问题——"钱多"才是问题。"钱很重要,但不是唯一重要的。具体来说:让数据中台不只是"搬运数据",而是"理解数据"——自动识别数据异常、自动生成分析报告、自动推荐数据优化方案。接下来的三个月,林晚每周和AI探索小组开一次会——不是"管理"他们,是"帮他们扫障碍"。林晚知道他指的是什么——上次他拿四十页的方案来"要资源",被一句"明年再看"打发了。"自动识别数据异常"是数据中台最刚需的AI能力——客户最头疼的问题之一就是"数据出了问题但不知道"。

2026-06-01 10:40:22 196

原创 第十四章:负责人

不是"正式的绩效沟通",是"非正式的了解"——你是谁、你在做什么、你觉得什么做得好、什么需要改进、你未来想做什么。因为他知道——在蓝鲸这个地方,"被提拔"不是"请求",是"命令"。你不能说"我还没准备好"——因为"准备"永远没有"完成"的一天。恒信银行的一个API接口——用于查询客户交易数据的——确实存在一个权限校验的漏洞。他想起了很多事——父亲送他去大学报到的那天、父亲在阳台上抽烟的背影、父亲说"慢慢来不急"的电话、父亲说"做对的事才是"的那个除夕夜。你不是团队的"大脑"——你是团队的"骨架"。

2026-06-01 10:40:03 199

原创 第十三章:灰度

数据中台升级之后,需要一个新的"业务对接人"——不是写代码的人,是"懂业务"的人。那就做一个扩容方案。但王总让他"旁听",说是"让你了解一下高层在关注什么"。但林晚看见了——看见了他的业务经验、他的判断力、他的"知道什么代码该写"的能力。有些是"怎么做人",有些是"怎么做事儿",有些是"不要做什么"。他没有做"反击"——没有去找高层解释,没有在会议上反驳林昊,没有做任何"舆论战"的事。这是他第一次感受到这种程度的愤怒——不是因为林昊"说了他的坏话",是因为林昊用了"真实的数据"来引导一个"不真实的结论"。

2026-06-01 10:39:48 173

原创 第十二章:代价

高层最终选择林晚,不是因为林晚的技术更好,是因为林晚的"项目贡献"更扎实、"跨部门影响力"更大、"管理能力"经过了验证。但林晚听出了分量——林昊不是在"聊天",是在"做舆论"。"配合他的项目"——这意味着他接下来的工作里,有一部分是为了"回报张磊",不是为了"自己的团队"。现在他理解了——"吆喝"不是"自卖自夸",是"让对的人听到你的声音"。他学会了在高层面前展示自己,学会了在汇报时用"商业语言"而不是"技术语言",学会了在跨部门协作中"被看见",学会了在晋升答辩中讲"问题-方案-结果"的故事。

2026-06-01 10:39:31 167

原创 第二十二章:意义

"在蓝鲸干了二十年——前十年是'装忙',后十年是'装不忙'。"你知道吗,"苏晴说,"你在蓝鲸的时候,周航说过一句话——'你太技术了'。现在你不再'太技术'了——你变成了一个'能做决策的技术人'。不是因为"不想写"——是因为"没时间写"。"但你要记住——B轮的钱不是用来'享受'的,是用来'打仗'的。"创业这件事——不是你想做就能做的。"周航是一个'商人'——他做决策的标准是'利益最大化'。"你在蓝鲸的时候,"苏晴说,"周航做的是什么?远处是连绵的山——冬天的山是灰色的,没有树叶,只有光秃秃的枝干。

2026-06-01 10:38:48 361

原创 第十章:新角色

林晚快速调整了策略,跳过了剩下的"成果展示",直接说了两个问题:"第一,数据中台二期需要额外的测试资源,目前的测试人力不够。但他知道——在接下来的日子里,他会遇到更多"不正确"的情况——有人不服他、有人不配合他、有人在他背后说坏话、有人在他面前一套背后一套。"定义任务"意味着——你需要告诉每个人"这周你要完成什么",而不是"你先看看代码"。他给每个人分配了明确的任务——杨磊负责数据中台二期的一个接口模块,刘畅负责前端的数据展示组件,王建国负责数据管道的优化,赵明负责一个数据清洗的工具开发。

2026-05-31 17:32:51 73

原创 第九章:分水岭

他从一个"不知道想要什么"的人,变成了一个"知道自己不想要什么"的人。他不想要"混日子",不想要"隐形人",不想要"做了十分的工作只让别人看到三分"。不是全部的你,是一部分的你。他不是"不能晋升",是"不想晋升"。它说明林晚不只是一个"写代码的人",是一个"能站在更高角度看问题的人"。只有一种"终于"的感觉——像是一场很长的考试终于出了成绩,你早就知道自己能过,但出成绩的那一刻还是松了一口气。找隔级leader聊一聊自己的规划,展示一下自己的"上进心"——这不是什么丢人的事,很多晋升成功的人都这么做过。

2026-05-31 17:32:09 74

原创 第八章:数据中台

总监站在台上,用二十分钟介绍了背景:"蓝鲸的企业服务产品线正在快速增长,但各部门的数据是割裂的——销售有销售的数据,产品有产品的数据,技术有技术的数据。他理解林昊的感受——如果你是一个技术很好的人,被一个技术不如你的人"赢了",你会不服。但林昊不服的不是林晚,是"规则"——在职场里,"最好的方案"不一定赢,"最合适的方案"才赢。他花了十分钟讲方案,然后花了五分钟讲"为什么不用林昊的方案"——不是因为林昊的方案不好,是因为林昊的方案需要引入新的技术栈,而蓝鲸的团队对新技术栈的掌握程度不够,上线风险高。

2026-05-31 17:31:28 82

原创 第七章:地图

她不像是那种"很强势"的PM——没有那种"这个需求你必须做"的压迫感。但这两个是不同的事情。比如,张磊在企业服务事业部的影响力比他的title显示的要大——虽然他只是"高级技术经理",但他和数据平台部的总监关系很好,和产品部的几个核心PM也有信任关系。然后在每个人的名字旁边,画了他们的"关系线"——和谁关系好、和谁有矛盾、和谁是同一批入职的、和谁是同一个leader带出来的。比如,基础架构部的王建虽然title比张磊高(他是"高级经理"),但他在公司内部的口碑一般——很多人觉得他"技术好但不会做人"。

2026-05-31 17:30:48 180

原创 第六章:觉醒

他发现了一个事实:蓝鲸的企业服务产品线里,增长最快的部分是数据智能——客户对"数据驱动决策"的需求在快速增长,但蓝鲸在数据方向的技术能力严重不足。但新系统的索引是在迁移之前就设计好的,不是林晚写的——林晚只负责数据转换层。但写到一半的时候,他遇到了一个让他头疼的问题:旧系统的数据格式有大量"脏数据"——空值、异常值、格式不统一的字段、甚至有部分数据是手工录入的,格式完全不规范。这不是他"看出来"的。但林晚知道,这一句"林晚花了很多精力修复"背后,是张磊对他的认可——不是"你做得好",而是"你值得被看到"。

2026-05-31 17:30:14 205

原创 第五章:年终

不是夸大,不是造假,是换一种语言——从"工程师的语言"翻译成"管理者能理解的语言"。但如果你说"优化了用户列表功能,提升了前端调用灵活性",管理者听到的是"做了一件有价值的事"。他在学校写简历的时候就知道要"包装"——把"做了一个课程设计"写成"独立设计并实现了一个校园二手交易平台"。他觉得"做了什么就写什么"才是诚实的,"包装"是虚伪的。他打开备忘录,看了看自己写的那些"踩坑记录"。他忽然觉得这些记录像一本"错题本"——但不是学校里那种只记录"错在哪里"的错题本,而是"从错误中学到了什么"的成长记录。

2026-05-31 17:29:33 137

原创 第四章:暗礁

但同时,他也有一种非常具体的无力感——他入职两个月了,做的最有技术含量的事是改了一个分页查询的默认值。但他多了七条踩坑记录,多了一个愿意教他的leader(虽然有时候会拿走他的功劳),多了一个让他看到差距的参照物。林晚对"林昊"这个名字有印象——入职培训的时候在走廊里见过几次,一个长得很高、很精神的男生,穿着干净的白衬衫,说话声音不大但很清楚。问题的真正原因在"新上线的接口"上——而这个方向,老周是最后才让他去查的。答案也很简单——在部门会上,张磊需要展示的是"我的团队在做什么",而不是"林晚在做什么"。

2026-05-31 17:28:36 221

原创 第三章:引路人

他知道张磊不是一个完美的导师——后来他才知道张磊有"摘桃子"的习惯,也知道张磊的"培养"有时候也是一种"投资"。但在入职第三周这个时间点上,张磊的那些话——"理解业务""系统思维""你能走多远取决于你能解决多大的问题"——像种子一样埋在了他心里。马飞的汇报"留了口子"——他说了"效果不好",结果被追问了"标准是什么",然后张磊给了一个明确的方向。这是他入职以来第一次"准点下班"——不是因为活干完了,是因为他今天确实做了不少事:上午跟进了联调进度,下午提交了PR并且完成了修改,傍晚处理了几封邮件。

2026-05-31 17:28:02 176

原创 第一章 秋招

《泥泞之路:现代职场成长史诗》第一卷讲述了计算机专业毕业生林晚的秋招历程。从投递63份简历的挫败,到经历群面、技术面、HR面的层层筛选,最终收获蓝鲸科技offer。故事展现了职场新人面临的真实困境:技术扎实但缺乏亮点的简历、面试中的表达短板、理想与现实的薪资落差。通过主角与同学小何的对比,揭示了职场竞争中"全面"与"专精"的悖论。当技术经理张磊指出"什么都能切一刀,但什么都切不深"的问题时,林晚开始思考职业方向的重要性。这个关于选择与成长的故事,记

2026-05-31 17:19:37 246

原创 第十章:归真,平凡之路即财富之路

林薇也看着他,眼睛很亮,“这半年,我看到你的改变,看到你的努力,也看到你的真心。”林薇放下手机,“你知道吗,这半年,我每天练习,每天研究新配方,每天想着怎么把蛋糕做得更好。提着菜往回走,陆明想起这半年遇见的这些人:陈大爷,老赵,周总监,便利店老板,甚至那个高利贷催收的——虽然可恨,但也让他看清了世界的另一面。所以他不急了,因为这些东西,急不来。下午,他收到一条微信,是以前加的一个股票群里的“老师”,他早就退了,但没删。这半年,他做项目,学东西,每天也很累,但看到功能一点点完善,看到用户的好评,也觉得值。

2026-03-24 19:37:44 41

原创 第九章:平衡,在欲望与理智之间

陆明,”她抬起头,眼睛在灯光下很亮,“这三个月,我想了很多。我恨过你,怨过你,也想过,这辈子再也不见你了。”陆明说,“这周去学校访谈,有老师反应,现在作业太多,批改不过来,经常要熬夜。现在,他每天想的就是把手头的工作做好,把该学的财报看完,把该还的债还清,反而觉得,自由就在这种“不自由”的规律里。”陈大爷突然说,“以前在钢厂跟我干过,后来考大学,学金融,进了券商。讲师姓张,四十多岁,戴眼镜,穿一件普通的夹克,不像电视上那些西装革履的“股神”。”林薇擦干手,转过身,“我就是想告诉你,我有自己的打算了。

2026-03-24 19:35:23 145

原创 第八章:反思,投资本义与人生重构

《股市浮沉中的成长》讲述了产品经理陆明在经历炒股巨亏后,通过社区志愿服务结识老股民赵大爷,逐渐领悟投资真谛的故事。文章通过老年手机培训班的温馨场景,展现陆明与老人们真诚互动的同时,借赵大爷三十年股海沉浮的经历,道出"投资最重要的是心性"的朴素真理。陆明从盲目追涨杀跌到静心研读财报,从幻想暴富到踏实工作,在与前女友林薇重新建立的平和联系中,完成了从浮躁到成熟的蜕变。文章以股市涨跌为背景,最终落脚于对生活本质的回归——十五块钱的牛肉面比三十八块的星巴克更令人心安。

2026-03-24 19:32:44 156

原创 第七章:重生,在废墟上重建生活

但是,”林薇话锋一转,“我这一个月,也经常想起以前。”陆明停顿了一下,“还比如,踏踏实实工作,每个月领工资,可能是世界上最稳妥的赚钱方式。”老周简单介绍,然后进入正题,“我们这个模块,下个版本要加错题本功能和智能推荐,时间紧,任务重。”老周说,“我炒了十几年股,总结出一条真理:散户最好的策略,就是定投指数基金,然后卸载软件,十年后再看。出租屋有个小厨房,他学会了做饭,简单的炒菜,煮面,炖汤。虽然它不能让他一夜暴富,但至少,能让他每个月按时还上信用卡分期,能让他付得起房租,能让他,重新站起来。

2026-03-24 19:30:24 396

原创 第六章:清算,与过去决断的三十天

他顿了顿,“买家肯定会压价。这套八十五平米的两居室,是他们三年前买的,当时每平米六万二,总价五百三十万,首付一百六十万,贷款三百七十万。他想起这三年,他和林薇在这套房子里度过的每一个日夜:一起在宜家挑选家具,为窗帘颜色争执,在厨房尝试新菜谱,在沙发上依偎着看电影,在阳台上种死了三盆多肉…卖了,还了贷款三百五十万,还了信用卡十二万,如果房子能卖四百三十万,还剩六十八万。”父亲站起来,走向厨房,“先吃饭,吃完收拾东西。他想起三个月前,也是这样一个雨天,他坐在办公室里,看着股票开户成功的页面,心里满是憧憬。

2026-03-24 19:29:21 304

原创 第五章:深陷,杠杆下的疯狂赌注

好啊,陆明,你真行。”她站起来,走到窗边,背对着他,“七年,我们一起七年。林薇坐在地板上,手里拿着一个铁盒子——那是他们的“家庭基金”盒子,里面装着房产证、结婚证、存折,还有一张银行卡,卡里是他们工作七年存下的二十万积蓄,原本打算换房子的首付。”大爷自己点上,深吸一口,“我儿子也炒股,去年亏了二十万,老婆差点跟他离婚。他想起这间房子,是他们三年前买的,首付八十万,掏空了双方父母,加上他们所有的积蓄。但他不想停,一停下来,脑子里就会浮现林薇的脸,浮现那个灰白色的停牌界面,浮现“立案调查”四个字。

2026-03-24 19:28:05 259

原创 第四章:崩塌,从希望到绝望的七天

早上九点,陆明请假去了银行。他要转账还款,二十九万,一笔一笔转,因为单日限额。九点半,股市开盘。他没看。不敢看。十点,最后一笔转账成功。他给套现公司打电话确认,对方说收到了,合作愉快,下次有需要再联系。“没有下次了。”陆明说。挂了电话,他站在银行大厅里,突然觉得腿软,扶着墙才站稳。还清了。信用卡的二十八万,加上利息,二十九万。父母的十万,还没还,但至少,高利贷还清了。现在账户里还剩二十九万。还父母十万,还剩十九万。本金三十万,亏十一万。还能接受。至少,人还在,工作还在,家还在。

2026-03-24 19:24:49 39

原创 第三章:陷阱,智能芯片的诱惑

他皱起眉,在搜索框里输入“国家大基金二期 智能芯片”,这次跳出几条财经新闻,但都是三个月前的旧闻,说“市场传闻大基金二期可能参投芯片设计公司”,后面跟着一句“公司方面对此不予置评”。他点开智能芯片的股东列表,前十大流通股东里没有“国家集成电路产业投资基金”的字样,倒是有几个私募,其中一个叫“鑫源资本”的,三季度减持了五百万股。十点半,他的手机响了,是个陌生号码。你有决心,有勇气,有赌上一切的魄力,但你没有VIP通道,没有量化程序,没有九点十五分整准时下单的资格,所以你连参与的资格都没有。

2026-03-24 19:17:27 355

原创 第二章:追涨杀跌,重仓猛干

明天还有一只票,做完这只,我保证,取出三十万,先还爸妈的钱,剩下的放余额宝,再也不动了,行吗?此刻,站在黎明的微光中,陆明看着手机屏幕上“创新科技”的K线图,那种不真实感又涌上来。他抬起头,看见林薇错愕的表情,赶紧缓和语气:“薇薇,你不懂。他点开新能源动力的基本面资料:股价二十一块五,总市值一百二十亿,市盈率六十三倍——偏高,但小王说了,成长股不看市盈率,看的是未来。陆明屏住呼吸,在交易软件上输入“新能源动力”,价格“23.65”,数量“11800股”——这是二十八万能买的最大股数。夜里,陆明又一次失眠。

2026-03-24 19:16:47 320

原创 第一章:开户,中国巴菲特入场

咱们投三十万,不说翻倍,赚个百分之五十,十五万,首付就能多凑点。他翻来覆去想着小王的话,想着自己每天通勤两小时,想着妻子林薇想要孩子却总说“再等等,房子太小”,想着父母在老家渐渐老去却无力接他们来上海养老。他是这家中型互联网公司的产品经理,三十一岁,年薪四十五万,在上海有一套贷款还剩两百万的小两居。”说话的是新来的程序员小王,才二十五岁,戴着副黑框眼镜,话不多但总能在关键时刻冒出几句。他轻轻吻了吻妻子的额头,在心里说:薇薇,再等我半年,我一定让你住进大房子。他打开交易软件,盯着“银证转账”的按钮看了很久。

2026-03-24 19:15:18 294

转载 软件从x86移植到arm需要做什么?

软件移植到新平台需要做什么?

2022-06-17 22:28:18 2417

原创 [源码] Spark如何划分Stage

[源码] Spark如何划分Stage文章目录[源码] Spark如何划分Stage大家好,我是一拳就能打爆你A柱的猛男1、Stage的介绍1.1 Stage是什么概念以及Stage的划分1.3 Stage的意义2、从SparkPi定位Stage划分代码3、Spark划分Stage代码解读4、总结大家好,我是一拳就能打爆你A柱的猛男太久不写博客了,今天写的博客可能有点生疏,各位将就看一下。不知道有没有人跟我一样好奇Spark如何划分Stage的,今天翻一下源码给大家看看。1、Stage的介绍这部分

2021-11-14 23:42:38 2770

原创 伪分布式Hadoop下Java API调用

伪分布式Hadoop下Java API 调用以及一些问题的解决方案大家好,我是村口靠捡牛粪过日子的可怜虫最近比较忙都没时间写博客了,想想也没什么分享,就给大家分享一些我的报告。这次分享的是Hadoop的Java API调用。一、 实验目的(1) 理解HDFS在Hadoop体系结构中的角色(2) 熟练使用HDFS操作常用的shell命令(3) 熟悉HDFS操作常用的Java API二、 实验环境类型名称版本虚拟机软件VMware Workstation Pro1

2021-04-25 09:20:31 651

原创 【翻译】A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise

【翻译】A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with NoiseAbstract 摘要​ 聚类算法是空间数据库分类识别的一种有效方法。然而,在大型空间数据库中的应用对聚类算法提出了如下要求:以最小的领域知识要求来确定输入参数,发现任意形状的聚类,在大型数据库上具有良好的效率。众所周知的聚类算法无法解决这些需求的结合。本文提出了一种新的基于聚类密度的聚类算法DBSCAN,该算法旨在发现

2021-04-14 11:41:30 1870

原创 kafka 2.7 单机启动步骤、kafka-connect配置

kafka 2.7 单机启动步骤、kafka-connect配置有点忘记了,所以要重新记录kafka单机启动步骤,首先是下载kafka.tar.gz包,然后解压,不需要进行任何配置,就可以进行下面的操作了。1、kafka 2.7 单机启动步骤整体的流程是,先启动zookeeper,然后启动kafka-server,最后就可以启动生产者消费者什么的了。1.1 启动zookeeper进入bin$ bin/zookeeper-server-start.sh config/zookeeper.prope

2021-04-11 12:14:39 2148

原创 WARN NetworkClient: [Consumer clientId=consumer-g1-1, groupId=g1] Error connecting to node

在Spark Streaming连接Kafka的时候出现了WARN NetworkClient: [Consumer clientId=consumer-g1-1, groupId=g1] Error connecting to node,记录一下,也给大家排坑。首先介绍一下kafka的状况,kafka正常运行,开启了zk和kafka,可以正常创建topic,开生产者和消费者可以正常消费。streaming代码在另一台机器上正常运行,但是换了电脑,环境明明一样,但是却无法消费,报错如下:.

2021-04-09 22:24:21 5526

原创 【翻译】ASML Automatic Streaming Machine Learning

【翻译】ASML Automatic Streaming Machine Learning摘要 Abstract​ 除了大数据系统的规模问题,新数据产生和移动的高速度也带来了新的挑战。为了提取有用的见解,构建能够高效处理高速数据的系统变得至关重要,如果处理大数据而无法从中获得价值则并没有什么意义。​ 与典型的离线/批处理机器学习场景相反,在流的设置中,数据无法预先访问,我们需要在流数据到达时即刻学习并预测,从而支持实时的决策,例如基于他/她的概率会点击决定是否向用户展示一个广告。​ 在这项工作

2021-04-08 11:24:12 718

原创 【翻译】StreamDM:基于Spark Streaming的高级数据挖掘 StreamDM: Advanced Data Mining in Spark Streaming

【翻译】StreamDM:基于Spark Streaming的高级数据挖掘 StreamDM: Advanced Data Mining in Spark Streaming摘要 Abstract​ 由于不断产生的大量数据,实时分析变得越来越重要。根据我们在华为诺亚方舟实验室的经验,我们在这里展示并演示了StreamDM,这是一个新的开源数据挖掘和机器学习库,设计在Spark Streaming之上,Spark Streaming是Spark核心API的扩展,支持可扩展的数据流处理。StreamDM

2021-04-05 11:17:27 904 1

原创 【翻译】Big Data Analysis: Apache Storm Perspective 大数据分析:Apache Storm视角

【翻译】Big Data Analysis: Apache Storm Perspective 大数据分析:Apache Storm视角摘要 Abstract技术的繁荣导致了新概念和新挑战的出现。大数据是当今人们谈论的术语之一。在商业竞争中,大数据正成为竞争优势的同义词。尽管大数据带来了巨大的好处,但也伴随着一些严峻的挑战,当涉及到大数据分析时,它需要一些严肃的思考。在业界最受信任的实时处理和容错工具Apache Storm的帮助下,本研究利用Twitter数据样本,探索大数据术语及其分析概念。关键

2021-04-02 09:42:10 776 2

原创 【翻译】MOA - Massive Online Analysis, a Framework for Stream Classification and Clustering

【翻译】MOA - Massive Online Analysis, a Framework for Stream Classification and Clustering. MOA - 海量在线分析,一个流分类聚类框架摘要 Abstract​ 海量在线分析(MOA)是一个软件环境,可以用于实现算法和运行实验,从不断演变的数据流中进行在线学习。MOA的设计是为了解决将最先进算法的实现扩展到真实世界数据集大小的挑战性问题。它包含了用于分类和聚类的离线在线集合,以及用于评估的工具。特别的,对于分类,它实

2021-04-01 10:25:59 1799 3

Online Internet Traffic Monitoring System Using Spark Streaming.pdf

Online Internet Traffic Monitoring System Using Spark Streaming论文原文

2021-02-17

【翻译】MOA.pdf

MOA翻译的完美排版

2021-04-01

【翻译】Storm.pdf

【翻译】Storm.pdf

2021-04-02

1980-2020英语二真题word版.zip

1980-2020英语二真题word版.zip

2020-09-15

CIFAR10-162 MB数据集

CIFAR10数据集 官网下载太慢了,我帮各位下载好了!

2020-09-28

【翻译】Online Internet Traffic Monitoring System Using Spark Streaming.pdf

Online Internet Traffic Monitoring System Using Spark Streaming翻译PDF版本

2021-02-17

cd_lianjia_spider - centOS.zip

简单爬虫框架

2020-02-20

cd_lianjia_multi.zip

链家可见信息完全采集爬虫多线程爬虫效率可调节 可设置采集区域 可设置采集效率 可设置代理 可换UA 可自定义存储方式 爬虫为自定义通用框架,可以自己更换代码实现其他爬虫

2020-02-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除