Hadoop
龙吟在天
IT 码农 联系邮箱:nyyin@qq.com
展开
-
Hadoop-web日志信息挖掘MapReduce简单应用以及代码下载
结合上面两篇博文的内容,首先提一下hadoop的安装和配置。 Hadoop-利用java API操作HDFS文件 Hadoop-MapReduce初步应用-统计单词个数 上面两篇文章中提到了如何安装和配置hadoop。以及一些视频资料的下载。这两篇文章包括本文的代码示例均是伪分布下hadoop的开发完成的。下面开始本文中题目所说的web日志信息的挖掘。 首先给出web日志文件的下载:请猛戳这原创 2015-12-02 15:10:25 · 6657 阅读 · 6 评论 -
Zookeeper命令行以及java API简单使用
安装 关于zookeeper的安装,请参考这篇文章:ZooKeeper伪分布式集群安装及使用我在这里使用的是文中提到的zookeeper伪分布模式的安装和使用。命令行 下面说明命令行方式下使用zookeeper。 切换到zookeeper安装目录的bin目录下: 命令:zkServer.sh start zoo0.cfg 该命令启动zkServer服务器。我这里使用的是伪分布模式,三个服务原创 2015-12-02 19:23:50 · 7209 阅读 · 0 评论 -
Hadoop-利用java API操作HDFS文件
这段时间学习了python和hadoop,主要用于数据处理方面,因此打算写几篇这方面的博客。不过不是我的原创,我也是利用前辈的工作展示给大家。把自己学到的东西,也是比较初级的东西展示给需要的同学。 首先说一说hadoop的安装和配置。这里我不打算把怎么配置怎么安装一步一步的说,我这里给出一些资料和视频,大家可以下载下来,视频里面详细讲述了如何安装和配置hadoop。 链接: http://pan原创 2015-11-30 16:28:29 · 28466 阅读 · 1 评论 -
Hadoop-MapReduce初步应用-统计单词个数
关于hadoop在电脑上安装的过程,请参考我的上一篇博文: Hadoop-利用java API操作HDFS文件我的安装和配置环境是Windows下伪分布模式hadoop下使用eclipse进行开发。 上面的文中有关于安装和配置hadoop的视频和安装软件所需的全部资料。下面是我们本文重点。统计文件中单词的个数。我们再看Hadoop的一般书籍中,基本都会把这个程序作为hadoop的MapReduc原创 2015-11-30 20:55:57 · 12348 阅读 · 0 评论 -
Hive-命令行基本操作和java API访问hive数据库
安装 首先说明hive的安装。 链接: http://pan.baidu.com/s/1DleVG 密码: mej4 这个链接是一个视频的链接,视频中讲解了如何安装hive。 关于视频中用到的资料文件,我已经上传到CSDN,请点击这里下载。 按照视频中的讲解步骤,完全可以完成hive的安装和调试。命令行基本操作 命令行基本操作无非就是增删改查。 进入hive的命令行模式,命令:hi原创 2015-12-04 15:09:58 · 24120 阅读 · 0 评论