大数据学习
文章平均质量分 95
从0开始的大数据学习,包括MapReduce,hive,spark等常见大数据组件
dream__future
这个作者很懒,什么都没留下…
展开
-
数据分析学习 day1
如果您有一个包含英文列名和对应中文列名的外部文件(如CSV或Excel),您可以从该文件读取映射,并使用它来重命名列名。不过,需要注意的是,当数据集非常大时,直接查看全部数据可能不太实际。:如果文件或数据流中的某个部分损坏或出现错误,逐块读取可能允许程序跳过损坏的部分,并继续处理其他有效的块。:对于需要与用户交互的应用程序,逐块处理可以在加载更多数据的同时,展示已经读取的数据,增强用户体验。:直接查看数据可能会提供一些关于数据趋势和模式的线索,这在进一步的统计或可视化分析之前是很有价值的。原创 2023-10-24 17:24:19 · 56 阅读 · 0 评论 -
大数据学习第9周02
神经元:在神经网络中,神经元是基本的计算单元。它接收来自其他神经元的一组输入,每个输入都有一个与之关联的权重。这些加权输入被汇总,然后传递给一个激活函数。激活函数的输出是这个神经元的输出。网络层:一层由多个神经元组成,它们共同执行某种计算。例如,在全连接层中,每个神经元都与上一层的所有神经元相连。在卷积层中,每个“神经元”实际上是一个卷积滤波器,它在输入数据上滑动以生成输出特征图。在某些复杂的网络结构中,如长短时记忆网络 (LSTM) 或门控循环单元 (GRU),计算单元更为复杂。例如,一个 LSTM 单元原创 2023-10-22 21:28:56 · 128 阅读 · 0 评论 -
大数据学习第8周01
搜索算法比推荐算法多了个query->搜索关键词。原创 2023-10-21 21:29:23 · 89 阅读 · 0 评论 -
逐行解读wordcount mr代码 ---从0开始学MapReduce
序列化就是将数据(通常是复杂的数据结构或对象)转换成一种格式(通常是字节流或字符串),这种格式方便存储(如保存到文件或数据库中)和发送(如通过网络传输)。反序列化是相反的过程,即从这种格式恢复数据到其原始的数据结构或对象。这种转换的目的是为了确保数据的持久性、传输性和互操作性。原创 2023-10-20 18:09:24 · 131 阅读 · 0 评论