hadoop
六月随风
这个作者很懒,什么都没留下…
展开
-
hadoop环境搭建-细节主旨
hadoop环境搭建1、初始介绍:1.1 目标:1. 一般情况下,实现机器学习使用sklearn实现即可2. 基于python的sklearn机器学习框架是一个单机的机器学习模型训练框架,模型能够处理的数据量受机器配置的影响,说白点就是说一台机器不能处理太多的数据3. 为了解决数据量太大,单机没法处理的这个问题,所以一般我们提出一些大数据的一些解决方案来做4. 了解一下:大数据的背景、...原创 2019-09-05 21:05:32 · 288 阅读 · 0 评论 -
hadoop集群搭建细节
Hadoop Single Node Cluster的安装c.NotebookApp.password = u'sha1:fc7089583f37:60e920d6132346258b951e6303157131d189bc21'jupyter notebook & --ip=0.0.0.0 --no-browser --allow-rootjupyter notebook后台...原创 2019-09-05 21:06:24 · 194 阅读 · 0 评论 -
Hadoop HDFS常用命令配图文
Hadoop HDFS命令 介绍在“终端”程序中使用的HDFS命令,对HDFS进行操作,以及Hadoop HDFS Web 接口。HDFS命令格式如下:Hadoop fs -命令命令在master虚拟机的“终端”程序中运命令说明hadoop fs -mkdir创建 HDFS 目录hadoop fs -ls列出 HDFS 目录hadoop fs -...原创 2019-09-06 21:40:38 · 854 阅读 · 0 评论 -
Hadoop MapReduce图文并茂
Hadoop MapReduce概观:Hadoop MapReduce是一个软件框架,用于轻松编写应用程序,以可靠,容错的方式在大型集群(数千个节点)的商用硬件上并行处理大量数据(多TB数据集)。MapReduce 作业通常将输入数据集拆分为独立的块,这些块由map任务以完全并行的方式处理。框架对地图的输出进行排序,然后输入到reduce任务。通常,作业的输入和输出都存储在文件系统中。该框架...原创 2019-09-17 18:58:15 · 297 阅读 · 0 评论