![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 57
caixiaowang
这个作者很懒,什么都没留下…
展开
-
hadoop学习
hadoop是什么一个支持数据密集型分布式应用的开源软件框架。hadoop框架的核心hadoop框架的最核心设计是hdfs和map reduce。hdfs为海量的数据提供存储,map reduce为海量的数据提供计算。hadoop相关项目hadoop common: 包含了hdfs,mapreduce和其他项目的公共内容hdfs: hadoop分布式文件系统mapredu...原创 2018-03-24 19:35:04 · 104 阅读 · 0 评论 -
MapReduce学习
什么是hadoop streaming一开始是只能用java语言来编写mapreduce程序的。 hadoop streaming是一种框架,可以让我们使用其他的语言来编写mapreduce程序,而不止局限于Java。 hadoop streaming使用unix的standard streams作为我们的mr程序和MapReduce框架之间的接口。只要我们的mr程序可以再标准io上进行读...原创 2018-03-24 20:36:29 · 970 阅读 · 0 评论 -
hdfs命令学习
把一个本地文件上传到hdfshdfs dfs -put a.txt b.txta.txt在本地,b.txt是要传到的hdfs路径。从hdfs导出文件到本地hdfs dfs -get wordcountout/part-0000* /tmp/outputHdfs的shell脚本hdfs提供了很多shell命令来实现访问文件系统的功能,hadoop自带的shel...原创 2018-03-24 20:51:04 · 245 阅读 · 0 评论 -
sqoop学习
sqoop和distcp的异同sqoop和distcp都是基于mapreduce来完成任务。 distcp做集群间的数据复制,而sqoop通过jdbc驱动,做hadoop集群和关系数据库之间的数据复制。列出mysql的所有数据库sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root...原创 2018-03-26 07:04:34 · 183 阅读 · 0 评论 -
hdfs读写原理
hdfs读原理client调用DFS的open打开希望读取的文件,DFS代表了分布式文件系统的一个实例。DFS通过rpc,调用namenode机器,确定文件起始块的位置。同一个块,按照重复数,返回多个位置,这些位置按照hadoop集群拓扑结构排序,离client近的排在前面。第2步返回DFSInputStream,它可以管理datanode和namenode。client调用DFSInp...原创 2018-03-26 08:44:37 · 596 阅读 · 0 评论