- 博客(23)
- 收藏
- 关注
RSS订阅原创 flink重学计划
2024.09 ~ 2024.11 构建虚拟服务集群 天气信息系统流入 指标简历。2024.07 ~ 2024.09 征信系统 包含征信系统总结。2024.04 ~ 2024.06 重新学习flink课程。2024.06 ~ 2024.07 对接天气系统 天气采集。2024.11 ~ 2025.03 整合知识点 贯穿项目。这里列举今年的flink学习计划。
2024-04-26 02:57:53
100
原创 老实人怎么样？
我们也陷入了自我反省的牢笼 但是法律从来都是让施暴的人犯罪的代价更大 让被施暴的人 更懂得自我保护。老师人没有足够的野心和应变能力 不如说是(伪辩) 反而循规蹈矩的老实的特质 错过了很多机会。我觉得老实人 本身的思维会固化 就觉得这件事情就是这么做的 比如是我去找房子。动手又会感觉难过 这样的道德感就成为了一个牢笼 道德只限制你 不限制施暴的人。过多的自我反省 本身就是不合理的 往往我们并没有做错 而是即使有不公平的对待。就会限制你的攻击力 被骂被打时 告诉这样做是不对的 君子动口不动手。
2024-03-18 00:27:55
123
原创 学习笔记 集群安装
---------Scp ~/eclipse-workspace/SparkWordcount/target/Sparkwordcount-1.0-SNAPsHoT.jar [email protected]: /root2.输入密码 运行并登录[email protected] 输入密码。Window->Preferences->Java->|nstalledJREs->Add->standard VM->Next->配置->Finish->勾选新增 jdk->Apply3.//请在此处编写代码。
2024-03-12 22:40:16
804
原创 面试八股文这件事情？ 2
第二个就是即便你有经验呢，然后问一些八股文呢，其实也从侧面反映出你对这些你使用过的技术，它在理论层面你就没有花心思去做一些理解。看一个人面试的时候，八股文问的多少，就看你的经验的深浅，经验越多，肯定问的就越少，甚至不问，怎么看待八股文的 实际上工作八股文用不到 但是经验方面 比如您肯定遇到过各种难以解决的问题 架构之类的。八股文很多时候是，比如你经验比较浅，没有什么好问的，你说你没有项目经验对吧？即使我spark的调参 都是自己写的 我也没记住！但是你实际经验越浅，那没有别人问的，那就只能问八股文。
2023-12-19 00:53:50
374
原创 脱离工作环境 我们能学习吗？
但是本身 我是缺乏java的历练的 不能和专业的java相比较 无论是八股文 还是运用和思考的程度。而且本身学习是依靠自觉性的 工作通常是被动的 本身就是缺乏一个动力的问题。也缺乏运用的过程 所以虽然知识度达到了 但是掌握和理解的能力是不够的。就像学java 大数据的场景和学习 本身就要付出更多的学习代价来成长。而且生产存在的各种问题 比如网络 资源等等的使用 复杂的udf函数。我觉得不太行 学习往往局限于学习的场景 没有自己的思考和理解。而学习往往是单一的 没有解决和面对问题的场景 这是很重要的)
2023-12-17 18:58:29
380
1
原创 面试八股文这件事情？
而且我的压力 不比任何一个人差 也就是说我的工作难度还是蛮高的[1]而且我也敢说 面试官也用不到这些 那我确实不记得了 我又不是天天看。我一个人完成了公司整个大数据的构建 先不说合不合理这些观点的问题。一方面是大数据面试官自身的局限 没有办法衡量我全面的知识。我不差 甚至在长达半年的时间里 我都是在加班中度过的。所以面试的时候 我是比较“痛恨”八股文的 大数据方面。就网上的那些知识 散落的知识点是远远不够的[2]八股文我又没背 我又觉得八股文显示不出来我的能力。
2023-12-13 01:02:19
384
1
原创 java操作数据计算和spark操作数据计算有什么区别吗
这样数据一致并行处理的概念 屏蔽了变量本身(包括语言中更多的概念 反射 流处理等复杂支持) 更倾向于一致性处理 rdd只是一致性数据操作的抽象函数 这是已经写好的。在我看来没什么不同 都是jvm体系的 从代码方向上 都是代码的执行逻辑。也不涉及什么 分布式的机制 封装的机制 都只是java集合的代码处理的话。各个任务处理的逻辑往往是相同的 并行处理嘛 任务发布的都是加法。如果每个数据都有自己的逻辑 并行一致性的处理就失去了作用。但是计算逻辑本质上走的都是一样的代码 一样的编译器。
2023-12-09 23:15:59
398
原创 创业和技术之间的关系(小白)
技术并不是强关系需求 这句话的意思是 技术好不一定你就比人家强。而诺基亚三星这样的电子大厂 也没有在智能手机时代占据一定的优势。很大一部分来着公司自身的战略 和风口的交织 团队的能力有关。其实相信 拥有技术的 有能力的 远远比创业成功的人多。微软这么强的芯片制造技术 也没有拿到手机芯片的风口。就像雷军所说 有能力 聪明的人 努力的人多了去了。但是更重要的 如同知乎里说的 有一个idea。机会很重要 新东方的成功是有留学热潮的背景。什么都没有肯定是不行的 有技术当然是好的。
2023-12-09 22:24:52
351
原创 如果 java 大数据 运维都会怎么办(普通开发)？
公司招一个大数据 一个运维 一个java 比招一个会大数据+java+运维的能力代价低得多。工作上 只是面对应专业的能力而已 面试官也是希望用过往的工作职位来评定你的能力。所以面试的时候 面试官问你 你之前是主要是开发 还是运维 你说我都干过？你的价值和运维的价值是相同 都可以把工作拿下来 因为公司就缺运维。所以通常 对于一个成体系的状态 往往是根据所作的内容区分方向的。就像问你之前主要是前端还是后端 你说都是 都干 都我干。而通常衡量一个人的能力的方式 就是过往的工作经验。
2023-12-07 00:09:23
448
原创 为什么要面向简历编程(工作)
日常的东西可能操作并不是那么多 面试官也不能一眼看出来。尤其是冲面试的时候 形成自己第一套坚固的简历和面试说辞。所以面向简历编程 更是可以找到一个好的工作的衡量标杆。当然维度跃升很强除外(你真的做了很有用的东西)而且没有八股文一类的东西 难以体现出自己的能力。往往我们只是当时记得 只做过一次的事情就都忘了。工作是用不到的 那么本身就会有遗忘的可能性。所以 尤其在这个时候 体现记忆的重要性。简历尽可能的第一眼体现了 自己的优势。那么就最好 形成自己的笔记本。自身偏向于工作记忆为准。毕竟不是天天记这些东西。
2023-12-06 12:39:35
384
1
原创 大数据开发 学java的加成有多大？
运维也不太care java开发的能力(做的东西就不一样)(虽然也可以说 大数据当中有java源码)对一个招后端的来说 公司希望这个人java可以搞得定 完成的了工作 会一些前端很好了。总体来说： 大数据会java是有加成的 但是面试还是以大数据的技术栈 经验和项目为主。你只要能完成 java任务上完成的 或者大数据任务上的 你就是合格的员工。其实这个标题本身就是有问题的(加成的概念) 首先多学一些东西 总是好的。也不能强调运维的经验是不 （即使你 运维也可以拿下 前端 什么什么的）
2023-12-03 23:36:38
349
1
原创 面试八股文 大数据难还是java难 ？
数仓的构建，而且大数据的框架，其实相当于工具，我们只是使用工具。框架也不如大数据那么多 (像大数据工具很多 代码就一套体系是比较友好的)或者刚刚接触的宝子们 的一些看法 如果比教深入的话 那就有的说了。因为本身代码化 代码不能速通 面试更倾向于问题场景的代码和。简历上的描述 也是大数据组件和数据处理流程 框架的要点。java虽然本身也是 通用的框架体系 代码实现层面。大数据的简历内容 八股文 对比java是有不同的。本身数仓作为一个工具 其实是缺少变化和应对场景的。简历上 更多的体现是模块和业务的实现。
2023-12-03 22:57:26
446
1
原创 spark 读取lzo 环境依赖
bug:由于lzo压缩本身不属于hadoop体系自带压缩方式以及spark自带的解析方式，所以往往需要额外配置，idea 本地环境想要读取lzo文件，就要使本地环境支持lzo依赖出于开发的便利，需要idea中读取到lzo压缩的数据
2022-09-26 12:29:58
927
原创 hive中 collect 行转列 用limit遇到的问题
可以看到hive 中 limit后 使用collect_list 列出的内容 并非是 limit 限制的内容
2022-02-18 10:26:44
867
原创 flume 概念及要点
1、Flume概述 1、flume是什么? flume是海量日志收集、聚合、传输系统 2、flume基础架构 Agent: JVM进程,启动flume采集数据的时候启动的就是agent进程 Source: 定义从哪里采集数据 Channel: Source和sink之间的缓冲区，解耦 Memory channel: 数据保存在内存 ...
2021-08-29 21:52:59
362
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人