自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大数据技术派

代码改变世界,代码改变命运! | 微信搜索:大数据技术派

  • 博客(471)
  • 资源 (20)
  • 问答 (1)
  • 收藏
  • 关注

原创 数仓建模—宽表的设计

宽表的设计为什么要建设宽表宽表的好处和不足如何设计宽表总结宽表的设计其实宽表是数仓里面非常重要的一块,前面我们介绍过了维度表事实表,今天我们介绍一下宽表,前面我们说过了数仓是分层的,这是技......

2021-12-02 08:40:00 3237 1

原创 Flink计算pv和uv的通用方法

PV(访问量):即Page View, 即页面浏览量或点击量,用户每次刷新即被计算一次。UV(独立访客):即Unique Visitor,访问您网站的一台电脑客户端为一个访客。00:00-...

2021-11-01 08:30:00 6616 14

转载 数仓建模分层理论

分层建设理论 简单点儿,直接ODS+DM就可以了,将所有数据同步过来,然后直接开发些应用层的报表,这是最简单的了;当DM层的内容多了以后,想要重用,就会再拆分一个公共层出来,变成3层架构...

2020-12-12 10:58:40 1988

原创 hadoop 数据迁移

数据迁移使用场景冷热集群数据分类存储,详见上述描述.集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等.数据的准实时同步.数据的准实时同步与上一点的不同在于第二点可以一次性操作解决,而准实时同步需要定期同步,而且要做到周期内数据基本完全一......

2018-11-18 13:19:36 5473

原创 巨轮转向的阵痛:大众汽车五万人大裁员的背后

当特斯拉以极致的效率重塑行业标杆,当中国比亚迪等品牌在电池技术与成本控制上遥遥领先,大众那艘满载着燃油车时代冗余架构的巨轮,不得不通过削减人力来换取转身的速度。工会的抗议、政府的担忧以及社会的动荡情绪,都将成为大众管理层必须面对的次生灾害。AI替代效应显现:亚马逊、微软、Meta等巨头明确表示,生成式AI技术的成熟使得部分岗位不再必要,“用更少的人做更多的事”成为共识。这一数字不仅刷新了欧洲车企有史以来的裁员纪录,更标志着传统汽车工业在电动化与智能化的双重夹击下,正式进入了“断臂求生”的深水区。

2026-03-24 08:28:12 219

原创 35岁程序员硬扛一线城市的房贷,到底在期待什么?

杭州、成都、武汉、西安这些城市,互联网产业不差,房价只有一线的1/3,年薪30万就能轻松买三房,首付低、月供无压力,不用掏空父母积蓄,生活质量直接翻倍。房价高位横盘,早就不是闭眼买就能涨的年代,背着高额房贷,反而把自己困死在职场里,明明可以跳槽找轻松的工作,却为了月供不敢动,硬生生耗垮身体,得不偿失。就算咬牙上车,房贷占收入一半以上,不敢生病、不敢辞职、不敢摸鱼,彻底沦为房子的打工人,这哪是安家,分明是给自己套枷锁。毕竟,房子是用来住的,不是用来绑架人生的,活得舒服,比什么都重要。

2026-03-18 08:43:48 288

原创 我那从阿里裸辞的朋友,跑去小公司后,活成了我们羡慕的样子

以前在阿里,他是颗标准螺丝钉,一块工作拆成八瓣,跨部门沟通能开三小时会,汇报PPT改十几版,天天卷价值观、抢绩效,下班到家凌晨是常态,连谈恋爱的时间都没有。外人听着光鲜亮丽,实则天天累得像条狗,我们聚餐他永远在回消息,周末随叫随到加班,P8的头衔没给他带来多少体面,反倒先熬出了黑眼圈和颈椎病。没俩月,他就去了家几十人的小创业公司,薪资直接砍了快一半,我们都觉得他疯了,等着看他哭着回头找大厂工作。他只摆了摆手,说再干下去,钱没挣够,人先没了,宁愿少拿点钱,也不想把命搭在无休止的内卷里。

2026-03-17 08:36:13 229

原创 Meta史诗级裁员:AI烧钱太猛,1.6万打工人被迫“毕业”,主打一个效率绑架

前脚还在砸重金砸AI基础设施,恨不得把每一分钱都投进未来科技,后脚就对着员工挥起砍刀,美其名曰“优化效率”,说白了就是让打工人替AI烧钱的成本买单。这波裁员也很双标,核心AI研发团队基本稳如泰山,遭殃的全是非核心岗:内容审核、营销、行政,就连之前砸了不少钱的元宇宙相关部门,也成了重灾区。只能说,职场没有铁饭碗,就算是Meta这种大厂员工,也得随时做好被“优化”的准备,毕竟在资本和风口面前,打工人永远是最容易被舍弃的那一个。说到底,这波裁员不是员工不行,而是资本风向变了。科技圈的裁员瓜永远吃不腻,

2026-03-16 08:20:39 250

原创 程序员生存指南:当AI成了“卷王”,我们该咋办?

业务逻辑的坑、人际关系的网、架构设计的权衡,这些充满“人性”的地方,是AI目前的盲区。它写的代码往往逻辑完美,但一旦遇到产品经理那句“我要一种五彩斑斓的黑”的需求,它大概率会死机,而你,作为拥有“人类直觉”的碳基生物,真正的价值才刚刚开始。准时下班去陪陪家人。这几年经济下滑,互联网也在萎缩,各种裁员的消息满天飞,新人很难进入,毕竟一个萝卜一个坑,更何况现在坑位在减少。总之,AI不会取代程序员,但“会用AI的程序员”一定会取代“不用AI的程序员”。毫不夸张的说,过去10年的程序员,很多的是吃到了时代的红利。

2026-03-14 21:46:16 257

原创 OpenClaw 卸载教程:从“养虾大户”到“安全上岸”

卸载完那一刻,电脑不卡了,钱包不疼了,安全感回来了。这次卸载只是踩坑教训,下次选工具,咱先做功课再动手,稳稳当当不翻车!专为懒人/新手设计,不用记复杂步骤,直接复制粘贴就能一键清干净OpenClaw,Windows和Mac版本都给你整理好了,全程不用动脑👇。先说说最扎心的Token烧钱。付费上门安装排大队,师傅月入几万不是梦,大家都以为捡了个24小时干活的AI苦力,幻想着躺平赢麻。当初安装有多冲动,现在看账单就有多心痛,妥妥的“养虾一时爽,账单泪两行”。,提示“不是内部或外部命令”,恭喜你,彻底卸载成功!

2026-03-13 08:45:26 411

原创 程序员之死

能扛事的程序员,脑子转得快、耗精力多,需要足够的休息时间,需要合理的项目规划,需要被尊重技术规律。只知道催进度、压需求,恨不得一个人干三个人的活,天天让加班熬夜,连正常歇口气的时间都没有。恐怕是这些人根本不懂程序员,只会一味压榨,活活把能干事的人才,逼成了熬不下去的“废人”。天天被乱指挥、瞎压榨,最后熬垮身体、磨没心气,和那些混日子的普通程序员一样。这不是程序员不行,是用人的人太糊涂,亲手毁了手里的“千里马”。厉害的程序员到处有,懂程序员、会用人的管理者,却真没几个。可那些管项目的人,根本不管这些。

2026-03-12 08:40:20 231

原创 你的龙虾还用得起token吗

我问“晚饭吃啥”,它能写一篇《论碳水与蛋白质在人类晚餐中的博弈》,附带三道菜谱、营养分析、食材采购指南,甚至还有餐具搭配建议。我看着账单上飞速消耗的token,心在滴血,阿智却在那得意:“主人,我这是为你提供全方位智能服务!起初,阿智很省,我问它“今天天气如何”,它回我“晴,宜晒被”,短短几个字,几粒token搞定。”然后它开始用十四行诗写购物清单。它沉默片刻,突然说:“主人,我有个商业计划,用我的文采写网文,赚token养自己。我偶尔想,或许未来的AI,都得学会一边消耗,一边创造——不然,真用不起啊。

2026-03-11 09:17:20 267

原创 腾讯、字节、小米、360等大厂集体下场,推出自家兼容/基于OpenClaw的AI智能体产品

的产品将融入我们生活的方方面面,使用者需要付出的便是像每月的话费一样的包月付费即可,平常百姓也能随时得到,也能享受科技带来的便利。本来就是一个外国程序员,花了几个小时做的东西,凭借国内大厂精通的复制能力,短期做出来自然不在话下。开源AI智能体框架,俗称“小龙虾”,能让AI直接操作你电脑、执行任务(本地优先、数据不上云)。特点:零配置、微信发指令、AI在你电脑干活、结果回微信。公测,在你Win10电脑本地跑、数据不云端、微信遥控。,一键安装、连企业微信/飞书,直接用AI帮你办公。

2026-03-10 08:15:50 481

原创 OpenClaw爆火背后:是革命利器,还是新的“电子智商税”?

我也跟风了OpenClaw,我是因为跟风,因为目前我并没有觉得OpenClaw对我有什么帮助,但是有的人可能真的有用,基于别人都有,我也得有的原则,我也跟风了。未来的AI趋势一定是“去技术化”的,即系统自动在后台运行,用户只需下达自然语言指令,而无需关心底层是OpenClaw还是ClosedClaw。对于开发者、极客以及需要批量处理重复工作的专业人士来说,它确实是提效神器,能解放双手,实现“一人抵十人”的产出。综上所述,OpenClaw的爆火是技术进步的缩影,但目前的排队潮和黄牛价更多是情绪泡沫的折射。

2026-03-09 08:31:01 257

原创 零成本白嫖千问免费API Token!小白手把手教程(适配OpenClaw)

顺便复制配套API地址(北京地域,适配国内工具,稳定不卡顿):https://dashscope.aliyuncs.com/compatible-mode/v1,配置OpenClaw的时候必须用到,别漏了。登录后先做实名认证:点击右上角头像,找到「实名认证」入口,选择个人认证,支付宝刷脸秒过,全程10秒搞定,做完这步才能进百炼拿Token。(支付宝快速认证,几秒搞定,不实名没法用API,这是平台硬性规则),不用绑卡、不用充值,纯免费体验,放心冲。唯一硬性要求:必须完成。

2026-03-08 10:56:38 3848

原创 小白也能看懂的OpenClaw安装保姆级教程,赶紧先收藏起来,周末实操一下吧,附带命令手册、API配置

已在Win10系统完成OpenClaw安装(已解决iwr命令执行失败问题)、搭载合规Node.js环境,需对接云端大模型API,不依赖本地模型部署,主打轻量化快速使用。点击这里的API介入按钮,登录实名后复制API,这个是需要付费token的,好像阿里的千问有免费token,可以去看看,免费token量肯定是不能大的,只能测试用。以下配置均为一键命令式操作,无需手动修改配置文件,替换命令中的【你的API密钥】即可直接执行,按平台分类整理,适配绝大多数用户需求。

2026-03-06 21:29:56 2278

原创 现在全世界铺天盖地搞 AI,程序员什么时候完蛋?网友:还是看程序员和ai谁更便宜

主业保稳定,副业做兜底,用 AI 接私活、做小产品、写脚本、搭网站,把技术变成现金流,不把命运全绑在一家公司。降本增效落到实处,就是能用 AI 的地方,尽量少用人。最近科技圈最扎心的信号,不是裁员,也不是降薪,而是多家互联网公司开始强制工程师使用 AI 编程工具,不用就约谈、不达标就淘汰。不知道有多少人会用AI工具编程,我就经常用,现在已经必不可少了,它已经成为我的第二个伴侣了,它让我变成了一个废物,哈哈。有时候我甚至懒得思考,一个小逻辑,我也懒得写,直接喂给千问,遇到程序报错了,直接问Gemini。

2026-03-05 21:38:07 233

原创 实测AI编程框架,看完一身冷汗,程序员终将被AI取代

我上次接私活,要写一个简单的订单管理系统,涉及订单创建、支付回调、数据统计,以前至少得花3天,结果用TRAE的solo模式,它能自己分析需求、调用工具,甚至自动调试,我就坐在旁边喝喝茶,偶尔改个小细节,一天就搞定了。结果我用OpenClaw,就输入一句“写一套用户注册、登录、查询的后端接口,用Node.js,适配MySQL”,不到10分钟,完整的代码就生成了,甚至连注释都写得明明白白,复制粘贴到项目里,稍微改改配置,直接就能用。毕竟,中年人的底气,从来不是靠稳定的工作,而是靠自己的能力和未雨绸缪。

2026-03-04 20:06:03 462

原创 35岁程序员,靠AI接私活挣2000块,熬3个通宵后,我认清了现实

连忙私聊金主,是个刚创业的小老板,说话特干脆,也特强势,直接甩来一个竞品链接,语气硬邦邦的:“就照这个做,简单点,能打开、能看信息就行,别耽误我用,出一点问题,我就扣钱。我用当下最火的AI工具生成官网框架,确实快,十分钟就出了初稿,可细节糙得没法看——按钮错位,字体大小不一,产品图片加载失败,甚至还有乱码,手机端更离谱,一滑动就卡顿闪退,根本没法用。在一个程序员互助群里,我刷到一个私活,是做一个公司官网主页,要求不高,能适配手机和电脑,有产品展示、联系方式,再加个简单的留言功能,预算2000块,一周交付。

2026-03-03 21:35:08 235

原创 一个程序员的中年副业实验:从接单到赚到第一个三万五

我盯着工资条上那个五年没变的数字,又看了眼手机银行里每月准时划走的房贷、车贷、兴趣班费,突然意识到一个残酷的事实:我,一个三十五岁的程序员,在互联网行业摸爬滚打十年后,依然买不起这个城市的房子。在三十五岁这一年,在头发还没全白之前,我终于不再是那个只会焦虑,却什么都不敢做的人了。凌晨两点,我做完最后一个功能,看着那个花里胡哨的小程序,突然笑出声——这代码写得真烂,满屏的if-else,毫无设计模式可言。我知道即使有一天,公司不再需要我这个“老古董”,我还能用这双手、这个脑子,在这个世界上找到自己的位置。

2026-03-02 21:32:59 366

原创 35 岁程序员的 “卑微求生记”:我越听话,走得越快

年轻人靠 AI 拼速度,中年人该靠经验 + AI 拼高度:你懂业务坑、懂系统架构、懂线上故障应急,再用 AI 提效,把重复活丢给机器,自己做设计、做决策、做架构,这才是中年人该有的优势。回家路上,他没敢告诉家人,像往常一样去菜市场买菜,做饭,陪孩子写作业,深夜躲在阳台抽烟,一根接一根,烟头烫到手指才回过神。可老陈们偏偏活成了最容易被替代的样子:技术栈老旧、拒绝新工具、只会执行不会思考、为了安稳放弃成长,最后把自己困在 “唯唯诺诺” 的牢笼里,以为听话就能保命,却忘了职场从来不同情弱者,只尊重不可替代的人。

2026-03-01 21:45:40 253

原创 这半年来,我的工作发生了翻天覆地的变化

为了响应上面节约成本的口号,我们的hadoop那一套也是被拿掉了,使用clickhouse做数据即时查询,不需要维护那么多组件了,没有了那么多的数据开发任务了,也不会无故新加数据开发任务,报表能用就行,毕竟大环境这么差,营收也是在不断下降的。现在也慢慢习惯了,跟以前比,数据还是得弄,只是多了一步,数据展现到后台报表,这也是需要我来弄,有了AI,中间也有一些难题,慢慢克服了,我竟然也能做出复杂交互的页面了,你说神奇不神奇。或许,工作革命也好,技术革命也罢,我现在是真的体会到了“”这两个字的真正含义。

2025-07-25 08:36:14 329

原创 四十种AI编程工具,让你码字如飞

有了AI代码助手,效率提高了,我会的我能干,不会的我也能干,头不疼,腰不酸了,一口气上五楼。

2025-04-30 16:21:26 1237

原创 有了这些AI编程工具,会的我能干,不会的我也能干

是这样的,最近一个同学离职,我临时接手了他的BI数据后台,我一个不会前端的人,使用AI编程工具,发送简单的指令,竟然使用Vue前后端分离,做出了复杂交互的报表,放以前谁敢信,毕竟前端这东西,不会的人是真不会啊。Jetbrains推出的AI编程助手,顾名思义它的优势在于对Jetbrains IDE的深度集成,比如Intellij IDEA,PyCharm等,直接安装插件,国内Jetbrains一般都是破解版,有点悬。官方地址:https://aws.amazon.com/cn/q/developer/

2025-04-30 08:29:03 914

原创 如何为千万级用户做个性化推荐

LightFM是许多流行的推荐算法的Python实现,用于隐式和显式反馈,包括BPR和WARP排名损失的有效实现。它易于使用,速度快(通过多线程模型估计),并产生高质量的结果。它还可以将项目和用户元数据合并到传统的矩阵分解算法中。它将每个用户和项目表示为其特征的潜在表示的总和,从而允许推荐泛化到新项目(通过项目特征)和新用户(通过用户特征)。在Python中安装,最好保证Python的版本在3.9...

2024-09-20 18:27:21 1022

原创 用了这个取数工具,领导再也不用找我取数了

最近由于产品需要直接看数据库数据,这样比较灵活省事,他们想看啥数据,只要提前配置好,随时都能自己看,也减轻了数据组频繁取数的工作,用了redash这个在线取数工具。我们是运维部署的开源免费版本,功能比较简单,跟英文原版相比,是个阉割版本的,但是英文不太好安装,中文免费版有文档,也有专业版,先介绍一下我们使用的一些感受,然后再简单介绍它。1. 支持的数据源支持丰富的数据源,大致看了下,几乎支持所有我...

2024-09-14 16:12:19 523

原创 数据分析三剑客(numpy、pandas、matplotlib)的安装

本文档安装视频,可以照着视频做:https://www.bilibili.com/video/BV1sR4y1W7UM。:这是我的个人博客,欢迎你的到来,https://www.ikeguang.com/?回车进入安装,我之前已经安装完成了,所以提示。回车进入安装,我之前已经安装完成了,所以提示。检测是否安装完成:在命令行输入。回车,不报错说明已经大功告成。回车,不报错说明已经大功告成。回车,不报错说明已经大功告成。,学习更多大数据技术。

2024-07-11 15:46:43 1000

原创 clickhouse使用心得

clickhouse目前用在实时BI后台,只要数据稳定落库了,出报表很快,临时查询也很快,在使用过程中,对它的一些优点和不足也是深有体会,这里总结一下,不能做到面面俱到,但尽可能详细的介绍实际应用需要注意的问题和应用技巧。我们是通过编写Flink程序,消费kafka数据,将数据清洗,扩充维度,然后落在clickhouse里面,半年以来,Flink程序很少出问题,数据落库也很稳定。对于clickho...

2024-03-18 17:37:29 1188

原创 年底公司又裁员,我该何去何从

太突然了,周四的时候,领导突然跟我说把xxx同事的工作交接一下,我心想他这是被裁员了吗,我问了一下,领导说是的。其实年中时候,已经在陆陆续续裁员了,只是当时技术这边没咋动。然后中午吃饭时候我跟xxx同事聊,才知道这次裁员每个组都得出人,这是老板要求的,并且跟HR说最迟2月底前走人。他说第二天跟HR谈赔偿,后来得知,果然是N+1赔偿,毕竟是正规公司,肯定会妥善处理裁员的。周五他是最后一天,还有其它几...

2024-02-06 20:17:32 647 1

原创 我是如何找到老婆的

本文不聊技术,聊聊我跟我老婆从认识到现在的过程。我们是2022年过年的时候在网上通过soul认识的,当时是大年初一,我爷爷跟我说,现在过年了,大家回家父母都在催找对象,你也去网上找。听到这话,我懵了。说的轻巧,网购一个吗,但是我还是打开手机,下载了软件。开始在里面看别人发的帖子,太多了,我也发个帖子,没人理我,哈哈。然后我就加了个湖北的群,我进去做了自我介绍,还是没人理我,我发现群里30多个人,只...

2024-01-12 08:17:47 1289

原创 Flink异步IO

本文讲解 Flink 用于访问外部数据存储的异步 I/O API。对于不熟悉异步或者事件驱动编程的用户,建议先储备一些关于 Future 和事件驱动编程的知识。本文代码gitee地址:https://gitee.com/ddxygq/BigDataTechnical/blob/main/Flink/src/main/java/operator/AsyncIODemo.java对于异步 I/O 操作...

2024-01-10 16:46:49 862

原创 <span class=“js_title_inner“>Flink异步IO</span>

本文讲解 Flink 用于访问外部数据存储的异步 I/O API。对于不熟悉异步或者事件驱动编程的用户,建议先储备一些关于 Future 和事件驱动编程的知识。

2024-01-10 16:46:49 383

原创 我们领证啦

是的,我们领证了。在跟她经历2年时间的相处后,我们在今天2024年1月5日正式办理了结婚登记。其实这次还是有那么一点点波折的,因为外地人无法在上海直接领结婚证,但是这个日子是我爷爷请算命先生帮我们看好的,所以我们决定回到我的老家湖北十堰办理结婚登记。今天请了一天假,考虑到怕一些突发事件,因为我们同省不同市,我怕还要什么证明,我们选择了坐飞机,预留一些时间,比如资料不齐要补资料什么的。因为6点20的...

2024-01-05 19:00:02 510

原创 Flink窗口与WaterMark

本文目录窗口的生命周期Window Assigners窗口函数(Window Functions)TriggersEvictorsAllowed Lateness窗口窗口(Window)是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中,再对每个“桶”加以处理。本文的重心将放在 Flink 如何进行窗口操作以及开发者如何尽可能地利用 Flink 所提供的功能。下面展示了 Flink 窗...

2024-01-04 18:13:53 1412

原创 Flink状态容错savepoint与checkpoint

本文目录CheckpointsState BackendsSavepointsCheckpoints 与 Savepoints区别Flink可以保证exactly once,与其容错机制checkpoint和savepoint分不开的。本文主要讲解两者的机制与使用,同时会对比两者的区别。CheckpointsCheckpoint 使 Flink 的状态具有良好的容错性,通过 checkpoint ...

2024-01-02 09:52:11 1561

原创 再见,2023年

2023年终于是要过去了,这一年是令人难忘的一年。作为95后的我,可能跟大多数同龄人一样,度过了人生中真正意义上的经济萧条的一年。美联储加息,物价通胀,消费通缩,企业裁员,房贷压力等等,让我们真正感受到了什么叫大环境不好。但是我相信,这只是暂时的,明后年经济大概率会复苏。作为普通人的我们,能做的只是站稳脚下,不激进、不气馁,苟着,如果再能静下心来学习总结那更好。说起学习这件事情,其实真的挺难的。就...

2023-12-31 22:27:08 459

原创 Flink DataStream 编程模型

‍都说IT今年很难,越是在这个时候越是要坚持,相信总能看到黎明与曙光。这不我准备整理一下教程,对自己也是一个学习、总结的过程,我相信待到经济复苏,IT仍然是热门。本文是我的第一篇付费文章,这是个开篇纵览,后面会深入讲解Flink理论与开发,不限于Flink这一个组件,后面也会有Spark、Clickhouse等等,代码也会配套同步到Gitee上面(Gitee地址见文末)。‍目录Flink 架构流处...

2023-12-28 18:03:47 1486

转载 数仓工作中的常见问题及解决方案

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—ID Mapping数仓—OneID来源数据社今天给大家分享一篇数仓工作思考的文章。 小 A 糊里糊涂进入一家网约车出现服务公司,负责公司数仓建设,试用期主要一项 K...

2023-07-07 13:56:04 828

转载 Flink CDC 2.4 正式发布,新增 Vitess 数据源,更多连接器支持增量快照,升级 Debezium 版本...

01Flink CDC 简介Flink CDC[1]是基于数据库的日志 CDC 技术,实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。作为新一代的实时数据集成框架,Flink CDC 具有全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等技术优势,同时社区提供了完善的中英文文档支持[...

2023-06-30 11:31:04 633

转载 数据血缘落地实践

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—ID Mapping数仓—OneID本文来自PowerData李奇峰‍在复杂的社会分工协作体系中,我们需要明确个人定位,才能更好的发挥价值,数据也是一样,于是,数据血缘应运而生。今天这篇文章会全方位的...

2023-06-29 11:37:32 2063

Zookeeper单机环境和集群环境搭建

Zookeeper单机环境和集群环境搭建

2023-06-15

虚拟机静态IP及多IP配置

虚拟机静态IP及多IP配置

2023-06-15

基于Zookeeper搭建Hadoop高可用集群

基于Zookeeper搭建Hadoop高可用集群

2023-06-15

基于Zookeeper搭建Kafka高可用集群

基于Zookeeper搭建Kafka高可用集群

2023-06-15

Storm集群环境搭建

Storm集群环境搭建

2023-06-15

Spark开发环境搭建

Spark开发环境搭建

2023-06-15

Spark集群环境搭建

Spark集群环境搭建

2023-06-15

Linux下Python安装

Linux下Python安装

2023-06-15

Linux下JDK安装

Linux下JDK安装

2023-06-15

Linux下Flume的安装

Linux下Flume的安装

2023-06-15

Linux环境下Hive的安装部署

Linux环境下Hive的安装部署

2023-06-15

HBase集群环境搭建

HBase集群环境搭建

2023-06-15

Hadoop集群环境搭建

Hadoop集群环境搭建

2023-06-15

5分钟安装docker教程

5分钟安装docker教程

2023-06-15

docker 安装 wordpress,通过nginx反向代理,绑定域名,配置https

docker 安装 wordpress,通过nginx反向代理,绑定域名,配置https

2023-06-15

2022年Python爬虫最全资料【6年爬虫经验精华总结】

【主要内容】 1. Python爬虫简介与环境安装 - Pythonn环境 - Selenium安装 - Python相关包 2. 基本库的使用 - 爬虫基本原理; - urlib库使用; - requests库使用; - bs4使用; - xpath和lxml使用; - selenium使用; - PyQuery使用; 3. scrapy基本使用 4. Scrapy redis实现分布式爬虫 5. 反爬措施 6. 手机APP爬虫 - 模拟器安装、fiddler、appium、mitmproxy安装; - 抓包工具的使用; - 移动端自动化控制; - 利用mitmproxy抓取存储数据; - apk脱壳反编译; references,学习资料分享 价格可谈,联系我:ddxygq。

2022-07-07

hive-hbase-handler-1.2.1.jar

hive-hbase-handler-1.2.1.jar解决hive1.2.1,hbase不兼容情况!

2018-08-15

hadoop-2.7.2 windows7环境编译文件(winutils.exe、hadoop.dll)

windows环境下开发hadoop与本地运行,会报错,需要编译win环境hadoop工具 否则,可能会有两种错误: 1、Did not find winutils.exe: java.io.FileNotFoundException; 2、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows 将里面的bin目录覆盖到hadoop对应bin目录即可

2018-03-07

用matlab编写猜字小游戏

用matlab编写猜字小游戏

2016-10-24

阿里巴巴java开发手册中文版

阿里巴巴java开发手册,高清原版,规范你的java开发习惯,让你的开发习惯与顶级互联网公对齐!

2018-09-02

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除