![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发
owenbb
这个作者很懒,什么都没留下…
展开
-
Hbase数据导入和实现 Web 日志场景数据处理
目标 1.将 CSV 文件导入到 HBase 的 access_log 表内。 2.请根据以上提示,利用过滤器检索出所有访问记录中,来自加拿大(即 country 字段的值是 ca)的记录有多少条。 3.将查询结果中的记录数量写入到 /home/hadoop/log_analysis_result 文件中。 知识点 HBase 过滤器的用法 HBase 导入数据的方式 HBase 表操作 B...原创 2020-01-19 16:27:03 · 420 阅读 · 0 评论 -
win10+IDEA+Maven wordcount入门和日志分析
新建项目 file-newproject-选择maven直接next groupId ArtifactId自己填 这样就新建好了一个空的项目,别着急,还有一个地方可能需要修改。点击file打开setting,定位到Build, Execution, Deployment->Compiler->Java Compiler,将WordCount的Target bytecode versio...原创 2020-01-17 09:49:50 · 223 阅读 · 0 评论 -
Hadoop简介与安装部署
一、实验介绍 实验室有hadoop集群,想自己装一下在自己电脑玩玩。 知识点 Hadoop 的体系结构 Hadoop 的主要模块 Hadoop 伪分布式模式部署 HDFS 的基本使用 WordCount 测试用例 实验环境 Hadoop-2.6.1 二、Hadoop 简介 Hadoop的框架最核心的设计就是:HDFS和MapReduce。 HDFS为海量的数据提供了存储,则MapRed...原创 2020-01-10 09:40:18 · 638 阅读 · 0 评论