![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据时代
文章平均质量分 91
门关
长得很土
展开
-
Hadoop2.8.0 单机搭建和eclipse开发应用配置 新手笔记
记录一下这两天 Hadoop 搭建成功的经验,分享给大家以防同行朋友多走弯路。1. Hadoop 伪分布式单机搭建1.1 环境准备新建一台VMWare 虚拟机操作系统:RedHat EL 6.2 64bit网络:NAT模式 配置IP:192.168.182.140主机名:hadoop11.2 下载安装(1)JDK1.8 下载之前,使用命原创 2017-07-19 17:50:00 · 3414 阅读 · 0 评论 -
简化的 MapReduce 驱动程序:默认值显式设置
即便删除如下加粗的部分,程序还是能跑起来,A/B程序的运行效果是一样的。public class MinimalMapReduceWithDefaults extends Configured implements Tool { @Override public int run(String[] args) throws IOException { Job job = JobBuild原创 2017-08-16 10:45:44 · 339 阅读 · 0 评论 -
MapReduce 如何输出多个文件:MultipleOutputs 运用可行
使用的背景和目的比较简单,如果日后有适合的场景,我会把它写下来。目前是一名新手,这里将代码一一贴出来~1. 主程序PartitionByStationUsingMultipleOutputs.javapackage practice.hadoop.simple_examples;import java.io.IOException;import org.apache.hadoo原创 2017-08-18 18:14:43 · 1207 阅读 · 0 评论 -
Pig Latin 常用指令
Pig Latin 常用命令和操作语句(摘自 PDF 书中)1. 命令1.1 EXPLAIN查看 Pig 为关系所创建的逻辑和物理计划!也会显示 MapReduce 计划,查看 MapReduce 作业的个数。1.2 DESCRIBE查看 关系的 scheme ,元数据的组织关系。1.3 ILLUSTRATE查看 Pig 推荐的用作测试的精简抽样!2. 关系原创 2017-09-18 14:18:32 · 1811 阅读 · 0 评论 -
scala 从控制台读取用户输入(新) Console.readLine已过时
从控制台中读取标准输入的方法目前有几种,其中第一种被Scala Eclipse IDE标记为 deprecated.1. 过时方法val line = Console.readLine()2. 目前使用方法val br = new BufferedReader(new InputStreamReader(System.in));val line = br.readL原创 2017-11-05 17:24:22 · 5460 阅读 · 0 评论