大数据从入门到实战
Littlerainlv
这个作者很懒,什么都没留下…
展开
-
大数据从入门到实战——Hive综合应用案例 ——学生成绩查询
Hive综合应用案例 — 学生成绩查询第1关 计算每个班的语文总成绩和数学总成绩第2关 查询选修了3门以上的课程的学生姓名第3关 课程选修人数第4关 shujuku课程的平均成绩第1关 计算每个班的语文总成绩和数学总成绩---------- 禁止修改 ---------- drop database if exists mydb cascade; set hive.auto.convert.join = false;set hive.ignore.mapjoin.hint=false;----原创 2021-12-27 22:00:04 · 11120 阅读 · 9 评论 -
从大数据到入门——Hive基本查询操作(二)
Hive基本查询操作(二)第1关 Hive排序第2关 Hive数据类型和类型转换第3关 Hive抽样查询第1关 Hive排序----------禁止修改----------create database if not exists mydb;use mydb;create table if not exists total(tradedate string,tradetime string,securityid string,bidpx1 string,bidsize1 int,off原创 2021-12-27 21:56:51 · 3696 阅读 · 1 评论 -
大数据从入门到实战——Hive基本查询操作(一)
Hive基本查询操作(一)第1关 where操作第2关 group by操作第3关 join操作第1关 where操作----------禁止修改----------create database if not exists db1;use db1;create table if not exists table1(eduLevel_name string comment '学历',company_name string comment '公司名',jobName string comme原创 2021-12-27 21:54:09 · 5794 阅读 · 0 评论 -
大数据从入门到实战——Hive的安装与配置
Hive的安装与配置第1关 Hive的安装与配置第2关 Hive Shell入门基础命令第1关 Hive的安装与配置#!/bin/bash#/usr/bin/python3 step1/mysql_conf.pyecho "hive 中有以下数据库:"> step1/logs.txt#/opt/hive/bin/schematool -dbType mysql -initSchema/opt/hive/bin/hive -S -e "show databases;" >> st原创 2021-12-27 21:49:01 · 2811 阅读 · 0 评论 -
大数据从入门到实战——分布式文件系统HDFS
分布式文件系统HDFS第2关 HDFS-JAVA接口之读取文件第3关 HDFS-JAVA接口之上传文件第4关 HDFS-JAVA接口之删除文件第2关 HDFS-JAVA接口之读取文件package step2;import java.io.IOException;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop原创 2021-12-27 21:44:00 · 1803 阅读 · 1 评论 -
大数据从入门到实战——MongoDB 文档的高级查询操作
MongoDB 文档的高级查询操作第2关 高级查询(一)第3关 高级查询(二)第2关 高级查询(一)#********* Begin *********#echo "db.test.find({hobbies:{\$all:['唱歌','跳舞']}}).sort({_id:1});db.test.find({hobbies:{\$all:['羽毛球','跳舞']}}).sort({_id:1});db.test.find({hobbies:{\$size:3}}).sort({_id:1})原创 2021-12-27 21:40:25 · 1947 阅读 · 0 评论 -
大数据从入门到实战——MongoDB实验——数据库基本操作
MongoDB实验——数据库基本操作文档操作二综合实训——学生信息管理文档操作二#********* Begin *********#echo "document=([ {_id:1, name:'西西', sex:'女', age:23, national:'汉族', }, {_id:2, name:'东东', sex:'男', age:20, national:'苗族', }, {_id:3,原创 2021-12-08 11:52:49 · 4552 阅读 · 0 评论 -
大数据从入门到实战——MongoDB 实验——java 和 MongoDB
MongoDB 实验——java 和 MongoDBJava 操作 MongoDB 数据库(一)Java 操作 MongoDB 数据库(二)Java 操作 MongoDB 数据库(一)package step1;import java.util.function.Consumer;import java.util.logging.Level;import java.util.logging.Logger;import java.util.ArrayList;import java.util.L原创 2021-12-08 11:45:27 · 2655 阅读 · 1 评论 -
大数据从入门到实战——HBase高级特性:过滤器(一)
HBase高级特性:过滤器(一)使用过滤器查询指定行的数据使用正则表达式与子字符串匹配行键列族过滤器、值过滤器、列名过滤器使用过滤器查询指定行的数据package step1;import java.io.IOException;import org.apache.hadoop.cli.util.*;import org.apache.hadoop.conf.*;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.原创 2021-11-03 14:15:45 · 5948 阅读 · 0 评论 -
大数据从入门到实战——HBase开发:表的扫描与扫描的缓存和批量处理
HBase开发:表的扫描与扫描的缓存和批量处理批量处理扫描表中所有的数据在扫描中使用缓存和批量参数批量处理package step1;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import or原创 2021-11-03 14:11:43 · 2777 阅读 · 0 评论 -
大数据从入门到实战——Hive表DML操作
Hive表DML操作将文件中的数据导入(Load)到 Hive 表中Select 操作将 select 查询结果插入 hive 表中将 select 查询结果写入文件将文件中的数据导入(Load)到 Hive 表中/********* Begin *********/CREATE DATABASE IF NOT EXISTS test1LOCATION '/hive/test1';USE test1;CREATE TABLE IF NOT EXISTS test1.student( Sn原创 2021-11-03 14:03:35 · 9559 阅读 · 0 评论 -
大数据从入门到实战——HBase开发:使用Java操作Hbase
HBase开发创建表添加数据获取数据删除表创建表package step1;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDes原创 2021-10-27 14:26:38 · 2393 阅读 · 0 评论 -
大数据从入门到实战——Hive表DDL操作(一)
Hive表DDL操作Create/Alter/Drop 数据库Create/Drop/Truncate 表Alter 表/列表分区Create/Alter/Drop 数据库#********* Begin *********#echo " CREATE DATABASE IF NOT EXISTS test1 LOCATION '/hive/test1' WITH DBPROPERTIES('creator'='John','date'='2019-02-25'); ALTER DATABAS原创 2021-10-27 14:12:31 · 1051 阅读 · 0 评论 -
大数据从入门到实战——HBase开发:批量操作
HBase开发:批量操作批量获取数据批量删除数据批量导入数据到HBase批量获取数据package step1;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.Cel原创 2021-10-20 12:23:32 · 1806 阅读 · 0 评论