- 博客(24)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 《天天数学》连载23：一月二十三日
格言作者：达·芬奇出生于儒略历1452年4月15日（公历4月23日），毕业于意大利理工学院，1519年5月2日逝世。欧洲文艺复兴时期的天才科学家、发明家、画家。现代学者称他为"文艺复兴时期最完美的代表"，是人类历史上绝无仅有的全才，他最大的成就是绘画，他的杰作《蒙娜丽莎》、《最后的晚餐》、《岩间圣母》等作品，体现了他精湛的艺术造诣。他认为自然中最美的研究对象是人体，人体是大自然的奇妙之作品，画家...
2020-02-28 17:24:17
575
原创 大数据学习笔记54：HBase概述
文章目录一、HBase概述（一）从BigTable说起（二）HBase简介1、HBase是什么2、Hadoop生态系统中HBase与其他部分的关系3、HBase和BigTable的底层技术对应关系4、为什么需要HBase（三）HBase与传统关系数据库的对比分析1、数据类型2、数据操作3、存储模式4、数据索引5、数据维护6、可伸缩性二、HBase访问接口三、HBase数据模型1、数据模型概述2、数...
2020-02-15 09:55:28
695
原创 大数据学习笔记53：Flume Sink Processors（Flume接收器处理器）
文章目录一、Flume Sink Processors用户指南二、Default Sink Processor三、FailOver Sink Processor四、Load Balancing Sink Processor一、Flume Sink Processors用户指南http://flume.apache.org/releases/content/1.9.0/FlumeUserGuid...
2020-02-15 08:55:07
676
原创 大数据学习笔记52：Flume Interceptors（Flume拦截器）
文章目录一、Flume Interceptors用户指南二、Timestamp Inerceptor三、Host Interceptor四、Static Interceptor五、UUID Interceptor六、Search and Replace Interceptor七、Regex Filtering Interceptor八、Regex Extractor Interceptor一、...
2020-02-15 08:47:38
595
原创 大数据学习笔记51：Flume Channel Selectors（Flume通道选择器）
文章目录一、Flume Channel Selectors用户指南二、多路复用通道选择器（一）用户指南网址（二）master节点接收数据，按路由规则发送到slave1与slave2节点1、在master节点上flume配置目录创建selector-multiplexing.conf2、在slave1节点上flume配置目录创建selector-multiplexing.conf3、在slave2节...
2020-02-14 17:35:13
801
原创 大数据学习笔记50：Flume Channels（Flume通道）
文章目录一、Flume Channels用户指南二、Memory Channel（内存通道）（一）用户指南网址（二）案例演示（三）应用场景三、JDBC Channel（JDBC通道）（一）用户指南网址（二）案例演示（三）应用场景四、Spillable Memory Channel（内存溢出通道）（一）用户指南网址（二）案例演示（三）应用场景五、FileChannel （文件通道）（一）用户指南网址...
2020-02-14 16:10:22
681
原创 大数据学习笔记49：Flume Sinks（Flume接收器）
文章目录一、Flume Sinks用户指南二、Logger Sink（一）用户指南网址（二）通过Logger Sink在控制台显示收集到的数据1、在master节点上flume配置目录创建sink-logger.conf2、在master节点上启动flume的agent进程3、在slave1节点通过nc向master节点发送信息4、切换到master节点查看接收信息三、File Roll Sink...
2020-02-13 13:59:25
597
原创 大数据学习笔记48：Flume Sources（Flume源）
文章目录一、Flume Sources用户指南二、NetCat TCP Source（一）用户指南网址（二）利用Source组件接收NetCat数据1、在slave1节点上安装NetCat2、在master节点上配置flume3、在master节点上启动flume的agent进程4、在slave1节点上通过nc发布信息5、切换到master节点查看接收信息6、在浏览器里访问http://maste...
2020-02-12 11:21:28
652
原创 大数据学习笔记47：Flume - 下载、安装与配置
文章目录一、下载Flume二、安装Flume1、上传apache-flume-1.8.0-bin.tar.gz到虚拟机基于大数据学习笔记30：搭建高可用Hadoop集群里创建的高可用Hadoop集群安装与配置Flume。一、下载Flume下载链接：https://pan.baidu.com/s/13s1SYZELAcGuB9qr2n8yjw 提取码：wdgl二、安装Flume1、上传a...
2020-02-12 09:48:54
570
原创 大数据学习笔记46：初识日志收集系统Flume
文章目录一、Flume概述二、两个版本差异1、Flume0.9.x版本2、Flume1.x 版本三、Flume与Scribe对比四、Flume总体架构五、Flume运行机制1、agent的三个核心组件（1）source（源）（2）channel（通道）（3）sink（接收器）2、完整工作流程3、event（事件）六、Flume基本用法1、flume多级流动2、flume数据流合并3、flume数据...
2020-02-11 10:20:28
553
原创 大数据学习笔记45：Sqoop - 数据迁移工具
文章目录一、Sqoop概述二、下载、安装和配置Sqoop1、下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2、将sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到虚拟机3、将sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压到指定位置4、将解压目录更名为sqoop-1.4.75、下载mysql-connector-...
2020-02-10 18:55:51
654
原创 大数据学习笔记44：Hive架构
文章目录一、Hive架构图二、服务端组件1、Driver组件2、Metastore组件3、Thrift服务三、客户端组件1、CLI - Command Line Interface2、Thrift客户端 - JDBC & ODBC3、HWI - Hive Web Interface四、Hive工作流程一、Hive架构图由上图可知，hadoop和mapreduce是hive架构的根基。...
2020-02-10 16:46:15
568
原创 大数据学习笔记43：Hive - JDBC编程
文章目录一、Hive JDBC概述二、Hive JDBC案例1、修改hadoop核心配置文件core-site.xml2、修改hive配置文件hive-site.xml3、启动hadoop服务4、在服务器端开启HiveServer服务5、创建student表，插入几条记录6、创建Maven项目HiveJDBCDemo7、在pom.xml文件里添加依赖8、创建日志属性文件log4j.proptert...
2020-02-09 23:16:59
543
原创 大数据学习笔记42：Hive - 分桶表
文章目录一、Hive分桶表1、分桶操作2、分桶原理3、注意事项二、分桶表案例演示1、创建数据文件courses.txt2、将数据文件上传到HDFS的/bucket目录3、基于/bucket目录创建hive外部表courses4、创建分桶表teacher，按course字段分成三个桶5、设置hive属性，开启分桶机制6、将courses表数据插入分桶表teacher7、利用HDFS Explorer...
2020-02-09 08:20:08
565
原创 大数据学习笔记41：Hive - 用户自定义函数
文章目录一、用户自定义函数二、案例演示：自定义阶乘函数1、创建Maven项目UDFDemo2、在pom.xml里添加对hadoop和hive的依赖3、继承UDF类，创建Factorial类4、将项目UDFDemo打成jar包一、用户自定义函数当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数，用户自定义函数（User Defined Function)，针对单...
2020-02-09 07:05:32
534
原创 大数据学习笔记40：Hive - 内置函数（3）
文章目录一、字符串函数二、集合统计函数一、字符串函数二、集合统计函数文章目录一、字符串函数二、集合统计函数集合统计函数1、个数统计函数：count语法：count(), count(expr), count(DISTINCT expr[, expr_.])返回值：int说明：count()统计检索出的行的个数，包括NULL值的行；count(expr)返回指定字段的非空值的个数；c...
2020-02-07 23:51:40
485
原创 Java讲课笔记02：Java集成开发环境
1. 学会IntelliJ IDEA或Eclipse的安装和启动2. 学会使用IntelliJ IDEA或Eclipse进行程序开发下面简单地讲述如何下载、安装和使用Eclipse创建Java项目。文章目录一、下载Eclipse二、安装Eclipse三、使用Eclipse1、启动Eclipse2、设置工作空间目录3、创建Java项目4、在src里创建...
2020-02-06 20:15:25
3403
原创 大数据学习笔记39：Hive - 内置函数（2）
文章目录一、collect_set函数（一）案例1：单列数据去重1、创建数据文件nums.txt2、将文件上传到HDFS的/cset目录3、基于/cset目录创建hive外部表nums4、查询nums表全部记录5、调用collect_set函数，查询nums表中不同数字（二）案例2：分组数据去重二、explode函数一、collect_set函数collect_set 函数用于数据去重，并将结...
2020-02-05 23:11:27
503
原创 大数据学习笔记38：Hive - 内置函数（1）
文章目录一、运算（一）数学运算（二）关系运算（三）逻辑运算二、内置函数（一）数学函数（二）日期函数（三）条件函数（四）字符串函数（五）集合统计函数（六）复合类型构建函数（七）复合类型访问函数（八）复合类型长度统计函数（九）collect_set函数（十）explode函数一、运算（一）数学运算（二）关系运算（三）逻辑运算二、内置函数Hive实现了标准的SQL，除此之外，为提升hive处...
2020-02-04 19:36:14
531
原创 大数据学习笔记37：Hive - 复杂数据类型
文章目录一、复杂数据类型二、复杂数据类型实战（一）数组类型（array）（二）映射类型（map）（三）结构类型（struct）一、复杂数据类型二、复杂数据类型实战（一）数组类型（array）（二）映射类型（map）（三）结构类型（struct）...
2020-02-04 13:15:21
573
原创 大数据学习笔记36：Hive - 分区表
文章目录一、分区表概述二、分区表实战1、创建按国别分区的book表2、在本地/root目录里创建数据文件（1）创建数据文件cn_book.txt（2）创建数据文件en_book.txt3、按分区加载数据（1）加载cn_book.txt到“cn”分区（2）加载en_book.txt到“en”分区4、查看分区表book全部记录5、通过HDFS Explorer查看分区表book对应的目录及文件6、手动...
2020-02-03 12:04:24
541
原创 大数据学习笔记35：Hive - 内部表与外部表
文章目录一、内部表1、什么是内部表2、创建与操作内部表任务1、创建park数据库一、内部表1、什么是内部表在hive里用“create table命令”创建一张表，然后向这个表插入数据（通过insert命令插入数据，也可以通过加载外部文件的方式来插入数据），这样的表叫做内部表。2、创建与操作内部表任务1、创建park数据库hive> create database park;...
2020-02-03 10:25:20
603
原创 大数据学习笔记34：Hive - 数据库与表操作
文章目录一、准备工作1、启动Hadoop2、启动Hive二、数据库操作1、创建数据库2、查询数据库（1）显示全部数据库（2）查询满足条件的数据库3、修改数据库信息（1）给数据库添加注释信息（2）给数据库添加键值对信息4、查看数据库信息5、使用数据库6、删除数据库三、数据表操作一、准备工作1、启动Hadoop2、启动Hive[root@tiger ~]# hive二、数据库操作H...
2020-02-01 13:49:23
709
基于网络乐库音乐播放器V1.0源码.rar
2021-01-10
基于媒体库音乐播放器V1.0源码.rar
2021-01-10
VB版学生成绩管理系统V1.0源码.rar
2021-01-08
学生信息管理系统(MySQL版)V1.0源码.rar
2021-01-08
贪吃蛇游戏V1.0源码_贪吃蛇游戏源代码
2021-01-08
boostrap_demo.rar
2019-08-21
boot_thymeleaf_demo.rar
2019-08-21
MSMusicPlayerV1.0.rar
2019-08-21
学生信息管理系统(MySQL版)V1.0.rar
2019-08-21
第三阶段实训项目：基于网络乐库音乐播放器V1.0
2018-02-09
第二阶段实训：基于媒体库音乐播放器V1.0
2018-02-09
采用多种方式实现词频统计
2018-02-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人