大数据
文章平均质量分 67
小鸭子_嘎嘎
快乐的鸭子,快乐的程序猿。在路上,一直在路上。
展开
-
Hadoop开发插件安装
这是自己借鉴别人所整理,本着知识分享的态度,写的博客。转载请说明出处,谢谢。祝大家学习愉快。翻译 2017-01-03 16:36:41 · 674 阅读 · 0 评论 -
学习Hadoop笔记之一
学习的时候出现了几个问题,然后想想把记录了下来,能力有限,多多见谅。 1.关于关闭防火墙的问题: a) 因为虚拟机是要做服务器 内网链接 防火墙一般全部关闭 在很多时候不关闭防火墙会出现很多问题(端口被占用的问题!)所以要关闭防火墙! 2.关于主机网页登陆不上虚拟机的apache服务的时候,比如Tomact。 如果能Ping通的话,一般就是防火墙的问题,a) 必须要关闭虚拟机的防火墙原创 2017-03-23 21:26:27 · 409 阅读 · 0 评论 -
MapReduce 程序详解
Hadoop的第一课总是MapReduce,但是往往我们每次都是使用自带的例子跑一遍MapReduce程序,今天总与自己写了一个完整的程序。技术有限,多多指教。 1.导Jar包,将Hadoop的Jar导入到你的工程 2.开始写自己的主类,分为3个类。 第一个类WordcountMapperpackage cn.itcast.bigdata.mr.wcdemo;import java.io.原创 2017-03-23 11:24:16 · 549 阅读 · 0 评论 -
关于Partitioner(自定义partitioner编程实现数据自定义分区处理)
这个场景的前提是:比如一大批手机号码 需要分区,就是确定那个号码是那个省份的,所以在Maptask阶段是要把所有的省份的号码全部放在一个Map里面,然后提交给reducetask去处理,但是默认的是一个reducetask。 这时候就需要重写Partitioner的方法实现Maptask的去处。package cn.itcast.bigdata.mr.provinceflow;import java原创 2017-03-27 21:09:26 · 1316 阅读 · 0 评论 -
客户端提交MR程序job的流程
这里是我自己总结的简单的描述:Configuration conf = new Configuration();// conf.set("mapreduce.framework.name", "yarn");// conf.set("yarn.resoucemanager.hostname", "hadoop"); Job job = Job.getInstance(conf);原创 2017-03-27 21:03:19 · 1473 阅读 · 0 评论 -
伪分布式安装遇到的一些问题之JAVA安装!!!
自己在安装中遇到的问题 希望别人在遇到类似的问题 可以参考下。不喜勿喷!!!转载说明出处。谢谢原创 2017-01-08 11:45:25 · 387 阅读 · 0 评论 -
SparkShell操作
这是借鉴别人的整理而来,本人抱着知识共享的态度,希望大家转载说明出处 谢谢大家。翻译 2017-01-03 16:53:57 · 1074 阅读 · 0 评论 -
SparkStandalone模式安装
这是本人借鉴别人的成果,本着知识共享的态度,转载需说明出处。谢谢 祝大家学习愉快。翻译 2017-01-03 16:50:49 · 464 阅读 · 0 评论 -
SparkLocal模式安装
本人借鉴别人的实验,本着知识分享的态度,希望大家转载说明出处,谢谢合作。祝大家学的开心。翻译 2017-01-03 16:47:57 · 938 阅读 · 0 评论 -
Hive数据库及表的基本操作
这是别人整理,我是借鉴别人的成果 本着知识分享的态度 希望大家转载说明出处,祝大家学习快乐。翻译 2017-01-03 16:45:43 · 839 阅读 · 0 评论 -
Hive安装部署
本人借鉴别人的整理 觉得这个对初学者很有用,抱着知识分享的态度,转载需说明 谢谢大家 祝大家学习愉快。翻译 2017-01-03 16:42:15 · 881 阅读 · 0 评论 -
WordCount代码实现
这文章是本人借鉴别的整理,抱着知识共享学习的态度,转载需说明出处,谢谢合作。祝大家学习开心!翻译 2017-01-03 16:40:17 · 826 阅读 · 0 评论 -
关于MapReduce中的切片机制
MapReduce的每一个Spilt都回提交给一个Job 最后都有一个Client 关于Spilt 将待处理数据执行逻辑切片(即按照一个特定切片大小,将待处理数据划分成逻辑上的多个split),然后每一个split分配一个mapTask并行实例处理 这段逻辑及形成的切片规划描述文件,由FileInputFormat实现类的getSplits()方法完成,切片定义在InputFormat类中的g原创 2017-03-27 14:22:49 · 3821 阅读 · 4 评论