hadoop
狂飙的yellowcong
yellowcong
展开
-
Hadoop之添加环境变量-yellowcong
每次执行hadoop都需要到bin目录和sbin目录下,就比较的麻烦需要添加环境变量,编辑配置vim /etc/profile#添加我们自己的hadoop安装目录export HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.1export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME原创 2017-08-18 23:25:29 · 2621 阅读 · 0 评论 -
Hadoop之Java通过URL操作HDFS-yellowcong
简单写了如何通过java的Net来操作hdfs,这个例子中出现了不少的错误,比如hdfs的请求不是别,请求地址拒绝等问题,以及客户端调用不能使用本地的hadoop包的问题等。原创 2017-08-19 14:16:55 · 5144 阅读 · 0 评论 -
Hadoop之namenode-yellowcong
hadoop中的namenode是整个文件系统的管理节点。他维护整个系统的文件目录树、文件/文件的数据元信息和每个文件所对应的块,同时负责接收用户的请求namenode配置文件hadoop的文件都存在于我们在core-site.xml配置的原创 2017-08-19 11:26:09 · 375 阅读 · 0 评论 -
Hadoop之HDFS(分布式文件系统)-yellowcong
分布式文件系统,是为了解决文件过多的情况,通过多台机器来存储,然后通过网络访问,就像访问自己本地主机一样,分布式系统具有容错性和通透性,hdfs分布式文件系统,适合大文件,对于小文件不合适,在Hadoop中,核心是HDFS和MapReduce,Hdfs的命令和linux的文件命令有些类似原创 2017-08-19 08:35:36 · 328 阅读 · 0 评论 -
Hadoop简介-yellowcong
Hadoopの简介,HDFS(Hadoop Distributed File System分布式文件系统) 分布式系统和MapReduce 并行计算框架 是Hadoop系统核心,子项目Hive(基于Hadoop的数据仓库),Hbase(分布式列存数据库),Zookeeper(分布式协作服务),Sqoop(数据同步工具),Pig(基于Hadoop的数据流系统),Mahout(数据挖掘算法库),Flume(日志收集工具)转载 2017-08-13 11:01:47 · 591 阅读 · 0 评论 -
Hadoop单机安装-yellowcong
Hadoop单机版本的安装,说实话的确不是很难,挺简单的,按照命令走下去,就可以了,我下载的是最新版本的hadoop ,hadoop-2.8.1,2017年8月13号,对于集群安装,需要额外配置免密码登录ssh和slaves,以及主机名统一原创 2017-08-13 17:37:21 · 518 阅读 · 1 评论