- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 hive语法
创建表创建员工表[java] view plain copycreate table t_emp ( id int, name string, age int, dept_name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY
2016-09-30 10:34:14
945
原创 Java中生成网站链接（URL）的二维码
QR 码最常见的应用便是为网站中一个特定的网页或下载页带来流量。因此，QR码常常会编码URL或网站地址，用户可以通过手机摄像头扫描，并在其浏览器中打开。URL可以直接编码在QR码中。下面是使用QRGen和ZXing库来创建QR码的一个简单的HTTP Servlet的。QR码的内容可以由用户提供。maven依赖配置 net.glxn.qrgen java
2016-09-20 17:22:58
16828
原创 浅拷贝、深拷贝
浅拷贝、深拷贝浅拷贝是指拷贝对象时仅仅拷贝对象本身（包括对象中的基本变量），而不拷贝对象包含的引用指向的对象。深拷贝不仅拷贝对象本身，而且拷贝对象包含的引用指向的所有对象。举例来说更加清楚：对象A1中包含对B1的引用，B1中包含对C1的引用。浅拷贝A1得到A2，A2 中依然包含对B1的引用，B1中依然包含对C1的引用。深拷贝则是对浅拷贝的递归，深拷贝A1得到A2，A2中包含对B2（
2016-09-19 16:25:45
354
转载 hive概念、安装和配置、常见异常
一、概念Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序hive的元数据- Hive将元数据储存在数据库中(metastore)，支持mysql,derby,oracle等数据库。- Hive中的元数据包括表的名字，表的列和分区及其属性，表的
2016-09-12 15:47:24
562
原创 hadoop温度排序
计算1949-1955年，每年温度最高的时间思路分析①Mapper，按照年份升序排序，同时每年的温度降序②Reduce，按照年份分组， 每年对应一个reduce任务Hadoop中如何自定义排序，自定义分区，自定义分组。 --需求： 1.计算在1949-1955年，每年温度最高的时间 2.计算在1949-1955年，每年温度最高前十天
2016-09-12 10:34:23
1557
转载 Hadoop-Shuffle过程
一、回顾Reduce阶段三大步凑 在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步凑，其中在Reduce阶段总共三个步凑，如下图所示： 其中，Step2.1就是一个Shuffle操作，它针对多个map任务的输出按照不同的分区（Partition）通过网络复制到不同的reduce任务节点上，这个过程就称作为Shuffle。PS：Had
2016-09-07 16:54:40
6657
转载 Hadoop Writable机制
为了支持以上这些特性，Hadoop引入org.apache.hadoop.io.Writable接口，作为所有可序列化对象必须实现的接口，其类图如图3-2所示。Writable机制紧凑、快速（但不容易扩展到Java以外的语言，如C、Python等）。和java.io.Serializable不同，Writable接口不是一个说明性接口，它包含两个方法：publi
2016-09-07 16:30:31
516
原创 MapReduce实现QQ好友推荐
大家都知道qq用户量上亿，每个用户又有很多的好友，因此，数据量十分的庞大，如何才能实现QQ的好友推荐呢？ 下面举一个例子： A有QQ好友B B有QQ好友C 则A，C有可能是好友。 当A登录的时候，则会向A推荐C，当C登录的时候，则会向C推荐A。package com.FriendsRecommended.findFrends;import java.io.IOExcep
2016-09-06 17:25:00
4769
1
原创 The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path。
JSP页面顶端出现“红色”的报错信息：The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path。原来JavaWeb工程类中没有添加Tomcat运行时相关类导致。下面是具体的解决方法：1、右击web工程-》属性或Build Path-》Java Build Path->Librarie
2016-09-02 16:12:19
497
转载 cookie入门介绍
目录(?)[-]前言cookie是什么cookie为什么会存在有什么作用概括性描述cookie在session中工作机制cookie用法键值对过期时间Java cookie 过期时间 apicookie过期时间举例过期时间小结域路径securehttponlyjavascript操作cookie查询增加修改删除总结前言
2016-09-02 13:51:40
1492
原创 Eclipse构建普通的MapReduce项目
1.jdk环境配置 jdk安装后好后配置相关JAVA_HOME环境变量,并将bin目录配置到path 2. 下载hadoop-2.7.1.tar.gz,并且解压到你的路径下D:\XXXX\workspace\hadoop-2.7.1https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2
2016-09-01 17:09:11
8541
1
转载 初学Hadoop之图解MapReduce与WordCount示例分析
阅读目录1、MapReduce整体流程2、WordCount源码3、WordCount逐行解析 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 HDFS是Google File System（GFS）的开源实现，MapReduce是Google MapReduce的开源实
2016-09-01 10:44:34
1696
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人