关闭

Pig 三 自定义函数

概述 支持使用 Java、Python、Javascript 三种语言编写 UDF Java 自定义函数较为成熟,其它两种功能还有限 需要的 jar 包: /root/training/pig-0.14.0/pig-0.14.0-core-h2.jar /root/training/pig-0.14.0/lib /root/training/pig-0.14.0/lib/h2 Pig 函...
阅读(70) 评论(0)

Pig数据分析引擎 二 使用PigLatin语句分析数据

配置好环境启动hadoop --启动hadoop start-all.sh --查看是否处于安全模式 hdfs dfsadmin -safemode get --启动historyServer 记录了所有的mapreduce程序的历史信息 [root@linux111 ~]# mr-jobhistory-daemon.sh start historyserver 进入pig命令提示符 [root@l...
阅读(64) 评论(0)

MySql (四) ER图与实体关系映射

目标:掌握ER图的画法。 ERMaster 初步掌握数据库设计的方法 实体关系映射什么是数据库的设计?数据库设计(Database Design)是指对于一个给定的应用环境,构造最优的数据库模式,建立数据库及其应用系统,使之能够有效地存储数据,满足各种用户的应用需求(信息要求和处理要求)。 数据开发步骤: 那么:我们的数据库设计是不是可以理解为:实体模型 ->概念模型->数据模型的过程。 数据库设...
阅读(150) 评论(0)

MySql (三) 表约束和常用的数据类型

约束约束是一种限制,它是通过对表的行或列的数据做出限制,来确保表和数据的完整性、唯一性和正确性。 约束类型 主键 默认值 唯一性 外键 非空 关键字 Primary key, default, unique, Foreign key, Not null主键约束(primary key) 用于约束表中的一个或多个字段,作为这一行的标识符,在一张表中通过主键就能准确定位到一条记录。主键要求这一行的数据...
阅读(42) 评论(0)

MySQL (二) 字符 DML DDL

修改root用户密码--进入到mysql数据库 use mysql; --执行修改语句 update user set password = PASSWORD("NEWPASSWORD") where user = 'username'; --修改完成之后使之生效 flush privileges; --然后退出 便修改成功介绍几款MySQL的客户端 1, Navicate 2, sq...
阅读(267) 评论(0)

Mysql 安装配置 一

第一步,配置坏境变量,MySQL安装文件分为两种,一种是msi格式的,一种是zip格式的。如果是msi格式的可以直接点击安装,按照它给出的安装提示进行安装(相信大家的英文可以看懂英文提示),一般MySQL将会安装在C:\Program Files\MySQL\MySQL Server 5.6 该目录中;zip格式是自己解压,解压缩之后其实MySQL就可以使用了,但是要进行配置。 解压之后可以将该文...
阅读(90) 评论(0)

Pig 数据分析引擎(一)

Pig 数据分析引擎什么是PigPig 是一个用来处理大规模数据集的平台,由 Yahoo!贡献给 Apache Pig 可以简化 MapReduce 任务的开发 Pig 可以看做hadoop的客户端软件,可以连接到 hadoop 集群进行数据分析工作 Pig 方便不熟悉 java 的用户,使用一种较为简便的类似于 SQL 的面向数据流的语言 pig Latin 进行数据处理 Pig Latin...
阅读(98) 评论(0)

Hive的自定义函数

Hive的自定义函数(UDF: user defined function) 本质就是一个Java程序,封装我们的业务逻辑 实现package demo.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class MyConcat extends UDF { //从写一个evaluate public String evalu...
阅读(58) 评论(0)

eclipse 连接到 Hive 时的异常

JDBCUtil 用来关闭 和打开hive package deme.hive;import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement;/** * 连接Hive的工具类...
阅读(95) 评论(0)

大数据 第三章 Google的思想之一 二GFS和MapReduce

在进行大数据之前需要了解两个概念 OLTP:online transaction processing 联机事物处理。也称为面向交易的处理过程,其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作快速响应的方式之一。OLTP 是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易 什么是事物?事物的特性?...
阅读(173) 评论(0)

大数据 第二章 概述大数据各章概要

什么是大数据? 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。IBM 提出 大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。 大数据应用在什么...
阅读(89) 评论(1)

大数据 第一节课 linux基础 基本的操作

Linux的基础一、Linux的实验环境 二、安装配置Linux和Linux的目录结构 1、安装Linux的过程中,注意的问题: (*)虚拟机类型:Redhat linux 7 64位 (*)重要的:网卡的类型:仅主机模式(host only) (*)IP地址需要跟VMNet1网卡在一个网段 192.16...
阅读(88) 评论(1)

网络技术——第2章 中小型网络系统总体规划与设计方法

考点1:路由器技术指标 考点2:网络系统分层设计(上下层之比,核心层设计) 考点3:交换机技术指标(总宽带计算方法) 考点4:网络服务器性能(系统高可用性) 网络需求详细分析 网络总体需求分析 综合布线需求分析 网络可用性与可靠性分析 网络安全性分析 网络工程造价 规划网页结构 三层 如果接点数为250 ~ 5000个,一般需要按三...
阅读(121) 评论(0)

网络技术——第一章 网络系统结构与设计

考点分析 1)宽带城域网的结构(层次结构的三层功能) 2)管理运营宽带城域网的关键技术 3)弹性分组环RPR技术 4)宽带接入技术(xDSL,HFC,光钎接入技术,无线接入技术) 1.1基础知识 1.1.1 计算机网络的分类 1)局域网(Local Area Network,LAN) 特点: * 局域网覆盖有限的地理范围,它适应与机关,校园,工厂,...
阅读(142) 评论(0)

当vs2015 创建ADO实体生成模型的时候出现的连接异常

当vs2015 创建ADO实体生成模型的时候出现的连接异常 异常信息 无法添加数据连接未能加载文件或程序集”Microsoft.SqlServer.Management.Sdk.Sfc.Version=12.0.0.0,Cultrue=neutral,PublicKeyToken=89845dcd8080cc91” 或它的一个依赖项。系统找不到指定文件错误原因 当vs2015 遇到sql201...
阅读(147) 评论(0)
    个人资料
    • 访问:1697次
    • 积分:152
    • 等级:
    • 排名:千里之外
    • 原创:3篇
    • 转载:0篇
    • 译文:0篇
    • 评论:2条
    文章存档
    最新评论