- 博客(6)
- 收藏
- 关注
RSS订阅原创 新手大数据必问十个问题
无论在学习群、星球还是私底下，总有很多想学大数据的同学会问这几个问题。今天列举了这十个高频问题，虽然基础，但是经典。1. 电脑需要什么配置？学大数据的电脑配置主要在内存方面，至少8G，上不封顶，一般16G够用。当然这只是学习层面，自己搭虚拟机玩玩。工作中，公司自然会给你分配服务器让你工作。2. 有哪些方向？数据开发、数据分析、数据挖掘。其中...
2019-11-20 17:59:37
146
原创 大数据学习与分享
今天这篇文章不讲具体的技术，主要解答一下如下几个问题，通过这几个问题的解答，希望小伙伴们能够对【大数据学习与分享】有一个深度的了解。1.【大数据学习与分享】主要是做什么的？通过公众号的简介，相信小伙伴们已经对本公众号主要做什么有所了解，但是在这里，还是很有必要提一下。本公众号主要专注于大数据领域常用的技术，如Spark、Hadoop、Hive、HBase、Kafka、Zookeeper等技...
2019-11-19 17:26:02
186
原创 高性能计算、大数据与机器学习的融合
2019年9月，美国国家科学技术理事会（NSTC）发布《高性能计算、大数据与机器学习的融合》报告，对美国网络与信息技术研发计划（NITRD）大数据与高端计算研发机构间工作组于去年10月举行的同名会议进行了总结。关键结论（1）随着数据量的急速增加，在科学需求的推动下，高性能计算（HPC）、大数据（BD）和机器学习（ML）不断融合。数据的产生不再是瓶颈，取而代之的是数据的管理、分析和推理。...
2019-11-18 18:34:45
1050
转载 大数据学习：比较容易理解的Hbase架构全解
依然是Hadoop组件的讲解，今天说到HBase 架构，都是一字一句打出来的，希望各位转发加关注，会一直给大家写优质的内容。物理上，Hbase 是由三种类型的 server 组成的的主从式(master-slave)架构：Region Server，负责处理数据的读写请求，客户端请求数据时直接和 Region Server 交互。HBase Master，负责 Region 的分配...
2019-11-12 16:27:10
167
原创 大数据学习，Hive实践分享之存储和压缩的坑
很多学习大数据的小伙伴都知道，HIVE是非常重要绕不过去的技术，那今天我就将我在大数据公司的一个项目上遇到的HIVE的坑和大家分享下大家都知道，由于集群资源有限，我们一般都会针对数据文件的「存储结构」和「压缩形式」进行配置优化。在我实际查看以后，发现集群的文件存储格式为Parquet，一种列式存储引擎，类似的还有ORC。而文件的压缩形式为Snappy。具体的操作形式如下：①...
2019-11-09 17:24:57
143
原创 大数据是什么？初学者怎样理解大数据技术
大数据是什么?相信这是很多初学者的疑问，大数据技术是一系列围绕数据价值化的技术总称，包括数据采集技术、数据存储技术、数据分析技术、数据呈现技术以及数据应用技术等，其中大数据技术与物联网技术、云计算技术、边缘计算技术和人工智能技术有紧密的联系。按照目前大数据产业链的分布来说，大数据技术是从数据采集技术开始的，目前主要的数据采集渠道包括物联网系统(占比百分之90以上)、Web系统(含App)...
2019-11-06 18:39:06
3231
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人