- 博客(11)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 python实现选课系统/学生信息管理系统
1.需求管理员：添加教师：一个教师作为一个班级的班主任，同时也作为一个或多个课程的代课老师添加课程：指定课程名，学分，任课老师。添加班级：指定班级名称，班主任老师：添加学生：作为一个班级的班主任，该老师为其班级添加学生添加课程：作为一个班级的班主任，该老师为其班级添加课程给出成绩：作为一门课程的任课老师，该老师给出他所带课程的学生成绩查看学生成绩：作为一门课程的任课老师，查看学生...
2019-09-25 16:16:03
17910
12
原创 Flume监听
1. Flume监听命令的执行结果配置agent############################################# 对各个组件的描述说明# 其中a1为agent的名字# r1是a1的source的代号名字# c1是a1的channel的代号名字# k1是a1的sink的代号名字#########################################...
2019-09-18 11:36:21
692
原创 Flume采集网络端口数据
1. Flume采集网络端口数据1.1 定义flume的事件配置文件flume-nc.properties# flume-nc.conf: 用于监听网络数据的flume agent实例的配置文件############################################# 对各个组件的描述说明# 其中a1为agent的名字# r1是a1的source的代号名字# c1是...
2019-09-18 11:35:18
948
原创 Flume安装
1. Flume简介Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统支持在日志系统中定制各类数据发送方，用于收集数据Flume提供对数据进行简单处理，并写到各种数据接收方2. Flume OG 与Flume NGFlume OG：Flume original generation,即Flume0.9x版本Flume NG：Flume next generati...
2019-09-18 11:33:42
133
原创 Sqoop的基本操作
1.Sqoop的基本操作列出数据库sqoop-list-databases --connect jdbc:mysql://mini05:3306/ --username root --password root列出所有的表sqoop-list-tables --connect jdbc:mysql://mini05:3306/up1 --username root --passw...
2019-09-18 11:31:21
734
原创 Sqoop与安装
1. Sqoop简介Apache Sqoop是一种专门为hadoop和比如关系型数据库等结构化数据库之间的高效数据转换一种工具。数据的搬运工Sqoop在大多数自动化数据转换的过程中，依托于数据库相关的Schema描述信息，转换的过程是使用MapReduce来进行的Sqoop目前有两个版本，完全不兼容，Sqoop和Sqoop2.可以通过版本号来进行简单的区分，1.4.x为sqoop或sqo...
2019-09-18 11:30:42
178
原创 Hbase的region操作
1. Hbase中的手动切分regionsplit 'ns1:t1','row040'2. Hbase手动移动regionmove 'f6e6164514db53d660c5414df1f3864e','mini05,16020,1539222350164'3. Hbase中row-key的设计行健的热点问题是由于行健相似、连续且数据量过大操作成单region的数据量过大，进...
2019-09-18 11:28:35
549
原创 Hbase操作
1. Hbase的Shell操作列出所有的命名空间(相当于mysql中的show databases)list_namespace列出指定命名空间下的所有表list_namespace_tables ‘ns_name’创建命名空间create_namespace ‘ns1’创建表create ‘ns1:t1’,‘f1’禁用表,因为删除表之前首...
2019-09-18 11:27:45
241
原创 Hbase的体系结构
1. Hbase的体系结构(模型)1.1 逻辑结构(模型)表（table）划分数据集合的概念，和传统的db中的表的概念是一样的行键（rowKey）对应关系数据库中的主键，作用就是唯一标示一行记录获取hbase中的一个记录(数据),要通过行键来获取行键是字节数组, 任何字符串都可以作为行键表中的行根据行键(row key)进行排序 ,数据按照Row key的字节序(by...
2019-09-18 11:26:11
441
原创 Hbase简介与安装
1. Hbase简介Hadoop-Database根据’bigtable’论文实现的分布式 可扩展的大数据存储技术随机访问 实时读写海量数据存储数 '十亿行 百万列’的数据高可靠性、高性能、面向列、可伸缩的分布式存储系统hbase的底层存储基于hdfs利用Zookeeper作为协调工具2. Hbase是什么?分布式开源数据库，基于hadoop分布式文件系统（HDFS）...
2019-09-18 11:24:08
443
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人