a376712116的博客

唾手可得的必然毫无价值,那些打不倒你的才会使你更加强大!

四非计算机推免

四非计算机推免我个人背景为什么要写这个?夏令营北大软微北大叉院复旦大数据浙大计算机院预推免中科院国防科技大学浙江大学中山大学北大软微北大叉院复旦大数据厦门大学四川大学重庆大学同济大学天津大学南京大学东南大学中南大学武汉大学华中科技大学华东师范大学总结 我 个人背景 本人杭州的一所四非学校,计算机金...

2018-09-29 15:44:52

阅读数:42

评论数:0

博物馆AR虚拟合影

一、项目概述 该项目是将博物馆中的文物虚拟化,利用AR增强现实技术与到访的游客进行合影,让文物不再只可远观,带来别样体验。有APP和服务端,APP进行AR合影后将图片上传到服务器,游客通过扫描合影图片右下角的二维码从服务器上下载图片保存。 二、开发环境 win10 jdk 1.8 and...

2018-07-29 09:26:41

阅读数:287

评论数:0

大数据技术之sqoop(二)

四、Sqoop 的简单使用案例 4.1、导入数据 在 Sqoop 中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE, HBASE)中传输数据,叫做:导入,即使用 import 关键字。 4.1.1、RDBMS 到 HDFS 1) 确定 Mysql 服务开...

2018-07-17 13:49:09

阅读数:70

评论数:0

大数据技术之sqoop(一)

一、Sqoop 简介 Apache Sqoop(TM)是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存 储之间传输大量数据的工具。 Sqoop 于 2012 年 3 月孵化出来,现在是一个顶级的 Apache 项目。 最新的稳定版本是 1.4.6。Sqoop2...

2018-07-17 13:19:49

阅读数:340

评论数:0

大数据技术之Hive实战——Youtube项目(二)

三、项目 原始数据youtube在此下载:https://pan.baidu.com/s/1we1KPA2IIEAGIJczyr2dMQ 3.1、数据结构 3.1.1、视频表 3.1.2、用户表 3.2 原始数据存放地 HDFS 目录: 视频数据集:/yo...

2018-07-16 23:08:07

阅读数:474

评论数:0

大数据技术之Hive实战——Youtube项目(一)

一、需求描述 统计 Youtube 视频网站的常规指标,各种 TopN 指标: –统计视频观看数 Top10 –统计视频类别热度 Top10 –统计视频观看数 Top20 所属类别包含这 Top20 视频的个数 –统计视频观看数 Top50 所关联视频的所属类别 Rank –统计每个类...

2018-07-16 21:29:50

阅读数:826

评论数:0

大数据技术之Hive(七)

十一、数据仓库 11.1 什么是数据仓库 数据仓库,英文名称为 Data Warehouse,可简写为 DW 或 DWH。数据仓库,是为企业 所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策 支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间...

2018-07-15 11:16:54

阅读数:122

评论数:0

大数据技术之Hive(六)

九、企业级调优 9.1 Fetch 抓取 Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如: SELECT * FROM employees;在这种情况下,Hive 可以简单地读取 employee 对应的存储目录 下的文件,然后输出查询结...

2018-07-15 10:51:54

阅读数:94

评论数:0

大数据技术之Hive(五)

七 、函数 7.1 系统自带的函数 1)查看系统自带的函数 hive> show functions; 2)显示自带的函数的用法 hive> desc function upper; 3)详细显示自带的函数的用法 hive&am...

2018-07-15 10:17:39

阅读数:71

评论数:0

大数据技术之Hive(四)

五 DML 数据操作 5.1 数据导入 5.1.1 向表中装载数据(Load) 1)语法 hive>load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] into table ...

2018-07-14 17:11:09

阅读数:111

评论数:0

大数据技术之Hive(三)

三、Hive 数据类型 3.1 基本数据类型 对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串, 不过它不能声明其中最多能存储多少个字符,理论上它可以存储 2GB 的字符数。 3.2 集合数据类型 Hive 有三种复杂数据类...

2018-07-14 16:36:01

阅读数:133

评论数:0

大数据技术之Hive(二)

二 Hive 安装环境准备 2.1 Hive 安装地址 1)Hive 官网地址: http://hive.apache.org/ 2)文档查看地址: https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载...

2018-07-14 16:00:24

阅读数:373

评论数:0

大数据技术之Hive(一)

一 、Hive 基本概念 1.1 什么是 Hive   Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。   Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。   本质是:将 HQL 转化成 MapR...

2018-07-14 15:35:02

阅读数:509

评论数:1

大数据技术之HDFS文件系统(三)

四 HDFS 的数据流 4.1 HDFS 写数据流程 4.1.1 剖析文件写入 1)客户端通过 Distributed FileSystem 模块向 namenode 请求上传文件,namenode 检查目标 文件是否已存在,父目录是否存在。 2)namenode 返回是否可以上传。...

2018-07-04 10:34:19

阅读数:80

评论数:0

大数据技术之HDFS文件系统(二)

三 HDFS 客户端操作 3.1 HDFS 客户端环境准备 3.1.1 jar 包准备 1)解压 hadoop-2.7.2.tar.gz 到非中文目录 2)进入 share 文件夹,查找所有 jar 包,并把 jar 包拷贝到_lib 文件夹下 3)在全部 jar 包中查找 source...

2018-07-04 10:02:45

阅读数:141

评论数:0

大数据技术之HDFS文件系统(一)

一 HDFS 概述 1.1 HDFS 产生背景   随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操 作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件, 这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 1....

2018-07-04 09:45:27

阅读数:186

评论数:0

大数据技术之Hadoop(四)

4.3 完全分布式部署 Hadoop 分析: 1)准备 3 台客户机(关闭防火墙、静态 ip、主机名称) 2)安装 jdk 3)配置环境变量 4)安装 hadoop 5)配置环境变量 6)安装 ssh 7)配置集群 8)启动测试集群 4.3.1 虚拟机准备 详见 3.2-3....

2018-06-21 19:38:51

阅读数:194

评论数:0

大数据技术之Hadoop(三)

四 、Hadoop 运行模式 1)官方网址 (1)官方网站:     http://hadoop.apache.org/ (2)各个版本归档库地址     https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ (3)h...

2018-06-21 19:05:00

阅读数:341

评论数:0

大数据技术之Hadoop(二)

三 、Hadoop 运行环境搭建 3.1 虚拟机网络模式设置为 NAT 最后,重新启动系统。 [root@hadoop101 ~]# sync [root@hadoop101 ~]# reboot 3.2 克隆虚拟机 1)克隆虚拟机 2)启动虚拟机 3...

2018-06-17 21:26:58

阅读数:332

评论数:0

大数据技术之Hadoop(一)

一 大数据概论 1.1 大数据概念   大数据(big data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。   主要解决,海量数据的存储和海量数据的分析计算问题。 ...

2018-06-17 20:57:43

阅读数:143

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭