大数据学习之旅
快捷键小王子
这个作者很懒,什么都没留下…
展开
-
Pig数据分析引擎 二 使用PigLatin语句分析数据
配置好环境启动hadoop--启动hadoopstart-all.sh--查看是否处于安全模式hdfs dfsadmin -safemode get--启动historyServer 记录了所有的mapreduce程序的历史信息[root@linux111 ~]# mr-jobhistory-daemon.sh start historyserver进入pig命令提示符[root@l原创 2017-10-07 16:33:23 · 596 阅读 · 0 评论 -
Scala 基础
Scala语言基础 一、Scala简介1、Scala是一门多范式的编程语言,一种类似java的编程语言 ,设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。 (*)面向对象 (*)函数式编程(Scala最大的特点)2、Scala基于JVM二、安装Scala环境:类似Java1、前提:先安装JDK2、安装Scala:设置两个环境变量 下载 http:原创 2017-11-15 19:59:38 · 497 阅读 · 0 评论 -
Redis 前身 MemCache
MemCached 缓存技术什么事MemCachedMemcache 是一套开源,高性能的分布式的内存对象缓存系统,目前被许多网站使用以提升网站的访问速度,尤其对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著 。Memcache 将所有数据存储在内存中,并在内存里维护一个统一的巨大的 Hash 表,它能存储任意类型的数据,包括图像、视频、文件以及数据库检索的结果等。简单的说就是原创 2017-11-04 14:37:16 · 451 阅读 · 0 评论 -
Sqoop Flume 数据采集引擎
实验准备环境(*)Oracle版本:10g企业版 Oracle 10 g(*)操作系统:Windows XP 链接:http://pan.baidu.com/s/1c17RVig 密码:y40j在Oracle sh 用于下 有一张表中有92万条数据 我们可以使用Sqoop来采集它 资源自行下载额外知识 在Oracle数据库中 sys和system用户的相同点和不同点相同点:都有原创 2017-11-04 13:43:38 · 511 阅读 · 0 评论 -
Pig 数据分析引擎(一)
Pig 数据分析引擎什么是PigPig 是一个用来处理大规模数据集的平台,由 Yahoo!贡献给 ApachePig 可以简化 MapReduce 任务的开发Pig 可以看做hadoop的客户端软件,可以连接到 hadoop 集群进行数据分析工作Pig 方便不熟悉 java 的用户,使用一种较为简便的类似于 SQL 的面向数据流的语言pig Latin 进行数据处理Pig Latin原创 2017-10-05 23:36:27 · 715 阅读 · 0 评论 -
Hive的自定义函数
Hive的自定义函数(UDF: user defined function) 本质就是一个Java程序,封装我们的业务逻辑实现package demo.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class MyConcat extends UDF { //从写一个evaluate public String evalu原创 2017-10-05 22:29:05 · 868 阅读 · 0 评论 -
大数据 第三章 Google的思想之一 二GFS和MapReduce
在进行大数据之前需要了解两个概念 OLTP:online transaction processing 联机事物处理。也称为面向交易的处理过程,其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一。OLTP 是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易 什么是事物?事物的特性?原创 2017-10-03 22:55:22 · 985 阅读 · 0 评论 -
大数据 第二章 概述大数据各章概要
什么是大数据? 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。IBM 提出 大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。大数据应用在什么原创 2017-10-03 18:54:05 · 775 阅读 · 1 评论 -
大数据 第一节课 linux基础 基本的操作
Linux的基础一、Linux的实验环境 二、安装配置Linux和Linux的目录结构 1、安装Linux的过程中,注意的问题: (*)虚拟机类型:Redhat linux 7 64位 (*)重要的:网卡的类型:仅主机模式(host only) (*)IP地址需要跟VMNet1网卡在一个网段 192.16原创 2017-10-03 17:26:23 · 457 阅读 · 1 评论 -
Pig 三 自定义函数
概述 支持使用 Java、Python、Javascript 三种语言编写 UDF Java 自定义函数较为成熟,其它两种功能还有限 需要的 jar 包: /root/training/pig-0.14.0/pig-0.14.0-core-h2.jar /root/training/pig-0.14.0/lib /root/training/pig-0.14.0/lib/h2Pig 函原创 2017-10-07 21:27:56 · 708 阅读 · 0 评论 -
大数据资源整理 ---持续更新
putty 链接:http://pan.baidu.com/s/1c2exjl2 密码:oj3jVMware12 链接:http://pan.baidu.com/s/1nvCAJIp 密码:spsbrhel-server-7.4-x86_64-dvd.iso 链接:http://pan.baidu.com/s/1o85Nfy6 密码:nav2apache-flume-1.7.0-bin.tar.原创 2017-11-15 21:21:01 · 1804 阅读 · 0 评论