大数据
文章平均质量分 83
Hadoop, Spark, Flink, Elasticsearch, Milvus
鬓戈
大数据+信息安全行业
展开
-
本地环境下运行Spark程序
spark 大数据原创 2024-03-14 13:30:28 · 806 阅读 · 0 评论 -
Hadoop分布式集群安装
Hadoop分布式集群安装原创 2024-01-12 20:12:47 · 1063 阅读 · 0 评论 -
Hadoop伪分布式集群安装
平时我们学习Hadoop技术时,可不一直沉溺于理论学习,一定要理论和实践相结合,所以就必须有一个Hadoop环境,我们能在这个Hadoop环境里进行各种操作,来验证我们在书本上学到的知识。最小的环境,至少要具有一台Linux服务器吧,部署一个最简单的单节点环境,我们可以来部署一个伪分布式集群。原创 2023-12-18 21:49:26 · 584 阅读 · 0 评论 -
Hadoop基础情况回顾
Hadoop HDFS MapReduce YARN原创 2023-12-17 16:56:58 · 212 阅读 · 0 评论 -
大数据笔记-关于Cassandra的删除问题
Cassandra 删除引起进程崩溃 墓碑问题 k8s部署原创 2023-10-29 21:39:35 · 728 阅读 · 0 评论 -
大数据笔记-大数据处理流程
3)数据清洗和预处理:收集到的数据可能包含噪声、缺失值和异常值,在入库之前,需要对数据进行清洗和预处理,以确保数据的质量和准确性。前端采集设备常常以最小数据字段集来传输数据包,特别是采取无线网络传输的,尽量让数据包小一些,当数据到了数据网关之后,可能我们会补齐一些字段,比如从设备ID映射出设备所在地址、区域、厂商等等,这些字段补齐之后去入库,方便之后数据查询分析。同时,还需要遵守相关的法律法规,保护用户的隐私权益。数据采集面对的数据类型是多种多样的,有文本数据、结构化数据、图片数据、语音数据、视频数据等。原创 2023-10-12 01:49:14 · 961 阅读 · 1 评论 -
一切coding都用vi
从05年起接触vim, 一直喜欢用它来写代码,由于平时开发涉及几个方向,环境有所不同,但基本上可以统一使用vim来编辑,把一些设置记录下来,方便以后参阅。 少用鼠标是vi编程的一大特点, 如果在vs, eclipse中,结合这两者的部分快捷键,那感觉更爽,长期使用vim的人会理解这点的。 1) Unix/Linux环境下,vim自带安装,我喜欢NERDTreeToggle插件。原创 2014-01-02 22:08:59 · 749 阅读 · 0 评论