Hadoop
若水三千你是一千
这个作者很懒,什么都没留下…
展开
-
Mapreduce WordCount实例
用的版本是hadoop.1.2.11.在Eclipes上新建一个工程,新建一个类WordCount下面是具体的代码package com.heima.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;impo原创 2016-07-26 23:18:12 · 1108 阅读 · 0 评论 -
Java 访问 HDFS操作
Java 可以通过API访问HDFS, 主要用到几个类下面是代码package com.shidai.hadoop.hdfs01;import java.io.File;import java.io.IOException;import java.net.URI;import java.text.ParseException;import java.text.SimpleDat原创 2016-07-26 23:25:57 · 2828 阅读 · 0 评论 -
Flume+Hadoop+Hive的离线分析系统基本架构
离线分析系统的结构图 整个离线分析的总体架构就是使用Flume从FTP服务器上采集日志文件,并存储在Hadoop HDFS文件系统上,再接着用Hadoop的mapreduce清洗日志文件,最后使用HIVE构建数据仓库做离线分析。任务的调度使用Shell脚本完成,当然大家也可以尝试一些自动化的任务调度工具,比如说AZKABAN或者OOZIE等。 分析转载 2016-07-27 11:13:14 · 1053 阅读 · 0 评论 -
Redis 使用场景-电商
各种计数,商品维度计数和用户维度计数说起电商,肯定离不开商品,而附带商品有各种计数(喜欢数,评论数,鉴定数,浏览数,etc),Redis的命令都是原子性的,你可以轻松地利用INCR,DECR等命令来计数。商品维度计数(喜欢数,评论数,鉴定数,浏览数,etc)采用Redis 的类型: Hash. 如果你对redis数据类型不太熟悉,可以参考 http://redis.io/topics/data-t原创 2016-07-27 17:06:05 · 700 阅读 · 0 评论 -
Hadoop安全认证(2)
凭证过期处理策略在最早的 Security features for Hadoop 设计中提出这样的假设:A Hadoop job will run no longer than 7 days (configurable) on a MapReduce cluster or accessing HDFS from the job will fail.转载 2016-08-02 10:18:19 · 9829 阅读 · 0 评论 -
Hadoop安全认证(1)
前言 在2014年初,我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版, 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法。背景 集群安全措施相对薄弱 最早部署Hadoop集群时并没有考虑安全问题,随着集群的不断扩大, 各部门对集群的使用需求增加,集群安全问题就显得颇为重要。说到转载 2016-08-02 10:12:31 · 5483 阅读 · 0 评论 -
Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群
Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群转载 2016-08-15 14:25:26 · 27253 阅读 · 7 评论 -
Hadoop文件系统
HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB,GB以及TB,并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改,则并不是十分适合。hadoop提供了许多文件系统的接口,用户可使用URI方案选取合适的文件系统来实现交互。(1)接口 hadoop是使用J转载 2016-12-09 12:02:17 · 2170 阅读 · 0 评论 -
Java HDFS Kerberos 认证
Kerberos 认证代码如下:package com.gridsum.datasocket;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatus;import org.apac...原创 2018-06-19 16:24:47 · 7965 阅读 · 1 评论