2017年10月_快捷键小王子

11月 10月 08月

原创 Pig 三自定义函数

概述支持使用 Java、Python、Javascript 三种语言编写 UDF Java 自定义函数较为成熟，其它两种功能还有限需要的 jar 包： /root/training/pig-0.14.0/pig-0.14.0-core-h2.jar /root/training/pig-0.14.0/lib /root/training/pig-0.14.0/lib/h2Pig 函

2017-10-07 21:27:56 690

原创 Pig数据分析引擎二使用PigLatin语句分析数据

配置好环境启动hadoop--启动hadoopstart-all.sh--查看是否处于安全模式hdfs dfsadmin -safemode get--启动historyServer 记录了所有的mapreduce程序的历史信息[root@linux111 ~]# mr-jobhistory-daemon.sh start historyserver进入pig命令提示符[root@l

2017-10-07 16:33:23 566

原创 MySql (四) ER图与实体关系映射

目标：掌握ER图的画法。 ERMaster初步掌握数据库设计的方法实体关系映射什么是数据库的设计？数据库设计(Database Design)是指对于一个给定的应用环境，构造最优的数据库模式，建立数据库及其应用系统，使之能够有效地存储数据，满足各种用户的应用需求（信息要求和处理要求）。数据开发步骤：那么：我们的数据库设计是不是可以理解为：实体模型 ->概念模型->数据模型的过程。数据库设

2017-10-07 05:49:09 5213

原创 MySql (三) 表约束和常用的数据类型

约束约束是一种限制，它是通过对表的行或列的数据做出限制，来确保表和数据的完整性、唯一性和正确性。约束类型主键默认值唯一性外键非空关键字 Primary key, default, unique, Foreign key, Not null主键约束（primary key）用于约束表中的一个或多个字段，作为这一行的标识符，在一张表中通过主键就能准确定位到一条记录。主键要求这一行的数据

2017-10-07 05:27:02 629

原创 MySQL (二) 字符 DML DDL

修改root用户密码--进入到mysql数据库use mysql;--执行修改语句update user set password = PASSWORD("NEWPASSWORD") where user = 'username';--修改完成之后使之生效flush privileges;--然后退出便修改成功介绍几款MySQL的客户端 1, Navicate 2, sq

2017-10-06 18:37:42 782

转载 Mysql 安装配置一

第一步，配置坏境变量，MySQL安装文件分为两种，一种是msi格式的，一种是zip格式的。如果是msi格式的可以直接点击安装，按照它给出的安装提示进行安装（相信大家的英文可以看懂英文提示），一般MySQL将会安装在C:\Program Files\MySQL\MySQL Server 5.6 该目录中；zip格式是自己解压，解压缩之后其实MySQL就可以使用了，但是要进行配置。解压之后可以将该文

2017-10-06 17:49:23 449

原创 Pig 数据分析引擎（一）

Pig 数据分析引擎什么是PigPig 是一个用来处理大规模数据集的平台，由 Yahoo！贡献给 ApachePig 可以简化 MapReduce 任务的开发Pig 可以看做hadoop的客户端软件，可以连接到 hadoop 集群进行数据分析工作Pig 方便不熟悉 java 的用户，使用一种较为简便的类似于 SQL 的面向数据流的语言pig Latin 进行数据处理Pig Latin

2017-10-05 23:36:27 664

原创 Hive的自定义函数

Hive的自定义函数（UDF: user defined function）本质就是一个Java程序，封装我们的业务逻辑实现package demo.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class MyConcat extends UDF { //从写一个evaluate public String evalu

2017-10-05 22:29:05 833

原创 eclipse 连接到 Hive 时的异常

JDBCUtil 用来关闭和打开hive package deme.hive;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;/** * 连接Hive的工具类

2017-10-05 19:12:13 1005

原创大数据第三章 Google的思想之一二GFS和MapReduce

在进行大数据之前需要了解两个概念 OLTP:online transaction processing 联机事物处理。也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。OLTP 是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易什么是事物？事物的特性？

2017-10-03 22:55:22 954

原创大数据第二章概述大数据各章概要

什么是大数据？指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。IBM 提出大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。大数据应用在什么

2017-10-03 18:54:05 737 1

原创大数据第一节课 linux基础基本的操作

Linux的基础一、Linux的实验环境二、安装配置Linux和Linux的目录结构 1、安装Linux的过程中，注意的问题：（*）虚拟机类型：Redhat linux 7 64位（*）重要的：网卡的类型：仅主机模式（host only）（*）IP地址需要跟VMNet1网卡在一个网段 192.16

2017-10-03 17:26:23 419 1

Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、 postgresql...) 间进行数据的传递，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS的数据导进到关系型数据库中。 Sqoop 项目开始于 2009 年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop 独立成为一个 Apache 项目

2017-10-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

UNIQUE_XIAOXI的博客

原创 Pig 三自定义函数

原创 Pig数据分析引擎二使用PigLatin语句分析数据

原创 MySql (四) ER图与实体关系映射

原创 MySql (三) 表约束和常用的数据类型

原创 MySQL (二) 字符 DML DDL

转载 Mysql 安装配置一

原创 Pig 数据分析引擎（一）

原创 Hive的自定义函数

原创 eclipse 连接到 Hive 时的异常

原创大数据第三章 Google的思想之一二GFS和MapReduce

原创大数据第二章概述大数据各章概要

原创大数据第一节课 linux基础基本的操作

Sqoop 安装包

学习mysql时辅助库表

ERMaster eclipse jar

hadoop-eclipse-plugin-2.7.3.jar

空空如也

Sqoop 安装包

学习mysql时 辅助库 表

ERMaster eclipse jar

hadoop-eclipse-plugin-2.7.3.jar

空空如也

学习mysql时辅助库表