hadoop入门学习(二)hdfs理论基础

1、hdfs分为三个部分:namenode、datanode和secondnamenode。2、hdfs存储方式:文件被分成等大的块进行存储,默认块的大小为64MB。3、namenode定义:namenode是hdfs的管理节点,负责存放文件元数据(元数据:1.文件与块的映射表;2.块与数据节点的...

2018-05-17 22:33:43

阅读数:12

评论数:0

hadoop入门学习(一)安装和部署伪分布式系统

对于hadoop伪分布式系统的安装和部署,大概分为四步:1、配置jdk环境;2、下载hadoop压缩包;3、配置hadoop伪分布式需要配置的一些配置文件;4、启动。在我看到的一些其他的教程中还会有设置免密登录这一项,因为配置伪分布式环境不设置免密码登录也可以使用,所以我就不写如何设置免密登录了。...

2018-05-16 23:10:23

阅读数:10

评论数:0

爬虫学习第一天

关于爬虫的学习很久之前就想要开始了,觉得爬虫是一个很有趣的东西,但是由于毕设和就业等等的压力,一直拖着没开始学,现在终于闲下来可以开始爬虫的学习了。第一天根据慕课网的视频先敲了一个样板出来,因为有语言基础,所以并没有花很长时间,花费时间一个半小时。视频链接就不贴了,慕课搜一下就能搜到,由于各种库的...

2018-05-09 22:59:15

阅读数:5

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭