- 博客(57)
- 收藏
- 关注
RSS订阅原创 图书借阅系统设计与实现
读者:登录注册，借阅还书，查询书籍，查看当前借阅信息以及历史借阅信息，查看、查询读者借阅榜以及借阅书籍借阅榜，问题反馈以及查询反馈结果等功能。管理员:对图书、图书分类、读者信息的增删改查，查看全部读者当前借阅信息以及借阅历史，查看、查询书籍借阅榜及读者借阅榜，查看、查询用户反馈信息并修改反馈状态(未解决或已解决)。超级管理员:除管理员权限外，新增管理员权限。对管理员信息进行增删改功能。为书店员工定制个人账号，方便管理。
2024-10-21 00:04:18
918
原创 Java毕业设计-城市公交查询系统的设计与实现
要设计一个良好的公交查询系统，就必须首先明确该应用环境对系统的要求。公交查询系统的应用背景为：方便市民搭乘公交车出行。所以乘客可以通过对车站站点查询、公交线路查询、站-站查询三种查询形式。
2024-10-20 18:20:30
810
1
原创 Java毕业设计-基于Spring Boot+Vue的医院管理系统2024
本课题根据前期的问卷调查以及实地考察，作出了适合实际的需求分析，采用了前后端分离的思想，后端使用了SpringBoot和SpringMVC框架，前端使用了Vue.js和ElementUI进行页面的搭建，并且使用了MySQL数据库进行数据交互。整个系统的使用者有三种角色，分别是医院管理员、患者以及医生。以下是三种不同的角色所分别拥有的功能：(1)管理员：可对医生信息，患者信息，挂号信息，药物信息，检查项目信息进行增删改查操作，可根据日期对医生进行排班操作，同时还可以查看数据的统计信息。
2024-10-20 16:14:17
636
原创 Java毕业设计—进销存系统ERP设计与实现【含论文、源码】
随着电商平台多样化,交易规模巨量化,综合服务大卖家批量化涌现,产业链分工更细化及完善,电商ERP系统也逐步形成自己鲜明的功能需求特征
2024-01-12 12:02:50
531
原创 Java毕业设计—B2C电商系统设计与实现【含论文、源码】
B2C模式电商项目，包含完整的销售前台和电商管理后台!前台部分主要通过浏览器访问，用户可以登录，浏览商品，以及添加购物车和订单生成等功能
2024-01-11 12:07:06
1355
原创 Java毕业设计—智慧物业管理系统设计与实现【含论文、源码】
智慧物业管理后台，是一款高效、快捷、高质量的物业管理系统，是智慧城市的一个重要组成部分。主要包含的功能模块：小区管理、房产管理、业主信息管理、停车位管理、服务管理、资产管理、收费管理、物业管理员管理、系统设置等功能模块
2024-01-05 12:23:16
1937
2
原创 Java毕业设计项目【畅购商城】
为了帮助更多的铁汁们，快速进步，完成毕业设计，挺近大厂，我前面已经分享了很多项目但是有铁汁们觉得实战项目不够，为了给支持我的朋友吧此次分享的是商城项目，里面包含视频和代码，涉及到SSM、SpringBoot、微服务、设计模式、中间件，可以说是非常的详细了，而且电商是高就的行业，也非常贴合毕业设计。如何获取看文章底部先看教程截图吧第1章 框架搭建学习目标了解电商了解畅购架构了解畅购工程结构畅购工程搭建商品微服务搭建品牌增删改查1. 走进电商1.1 电商行业分析近年来，世界经济正向数字化转型，大力发展数字经济成
2022-11-27 16:25:14
1047
原创 Java毕业设计项目_企业级实战全栈项目中信CRM
【教程、代码】文章底部1.学习目标视频教程目录【教程、代码】文章底部2.CRM 系统概念与项目开发流程2.1. CRM基本概念圈内存在这么一句话：“世上本来没有CRM，大家的生意越来越难做了，才有了CRM。”在同质化竞争时代，顾客资产尤为重要，新时代在呼唤CRM。CRM系统即客户关系管理系统, 顾名思义就是管理公司与客户之间的关系. 是一种以"客户关系一对一理论"为基础，旨在改善企业与客户之间关系的新型管理机制。客户关系管理的定义是：企业为提高核心竞争力，利用相应的信息技术以及互联网技术来协调企业与顾客间在
2022-11-20 10:15:29
1089
原创 Intellij+Spark+HIve整合，metastore元数据无效
object Tang { def main(args: Array[String]): Unit = { //1.创建sparkConf val conf = new SparkConf().setMaster("local[1]").setAppName("Tang") //2.创建sparkSession val spark = SparkSession....
2020-03-20 11:23:46
313
原创 浅谈数据仓库
1. 数据仓库基本介绍英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。2. 数据仓库的定...
2020-03-02 13:27:51
892
原创 Hbase集成Hive实战案列
HBase集成HiveHive提供了与HBase的集成，使得能够在HBase表上使用hive sql 语句进行查询、插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到Hbase中1、HBase与Hive的对比1.1、Hive数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。...
2020-02-28 10:44:46
327
原创 HBase的数据备份案例讲解
HBase的数据备份1.1 基于HBase提供的类对表进行备份使用HBase提供的类把HBase中某张表的数据导出到HDFS，之后再导出到测试hbase表中。(1) 从hbase表导出到HDFS[hadoop@node01 shells]$ hbase org.apache.hadoop.hbase.mapreduce.Export myuser /hbase_data/myus...
2020-02-24 09:13:23
320
原创 Sqoop详解与安装部署教程
1. Sqoop是什么Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具导入数据 import将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据 export从Hadoop的文件系统中导出数据到关系数据库[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-...
2020-02-21 09:56:51
474
原创 Flume详解与安装部署教程
1、Flume概述在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架。Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各类数据发送方，用于收集数据...
2020-02-20 13:25:43
531
原创 Hadoop整合Hbase案列详解
需求：编写mapreduce程序实现将hbase中的一张表的数据复制到另一张表中要求：读取HBase当中user这张表的f1:name、f1:age数据，将数据写入到另外一张user2表的f1列族里面去==***第一步：创建表**注意：**两张表的列族一定要相同/** create 'user','f1' put 'user','rk001','f1:name','tony' pu...
2020-02-20 09:40:31
301
原创 Database Class Loader started - derby.database.classpath=''
报错的原因是：明显是metastore数据库read only，没有写权限解决办法：#修改hive安装目录的所属用户和组为hadoop2.7:hadoopchown -R hadoop2.7:hadoop /opt/bigdata2.7/apache-hive-1.2.2-bin/#4.修改hive安装目录的读写权限chmod -R 755 /opt/bigdata2.7/apach...
2020-02-19 10:11:29
832
原创 Hbase的JavaAPI案列实战
1、创建maven工程自动导包（需要从cloudera仓库下载，耗时较长，耐心等待）如下内容作为maven工程中pom.xml的repositories的内容 <repositories> <repository> <id>cloudera</id> <url>...
2020-02-19 09:26:36
287
原创 Hbase的region合并与拆分
1、region 拆分机制region中存储的是大量的rowkey数据 ,当region中的数据条数过多的时候,直接影响查询效率.当region过大的时候.hbase会拆分region , 这也是Hbase的一个优点 .HBase的region split策略一共有以下几种：1、ConstantSizeRegionSplitPolicy0.94版本前默认切分策略...
2020-02-17 13:38:03
1224
原创 Hbase数据存储与读写详解
1、HBase的数据存储原理一个HRegionServer会负责管理很多个region一个**region*包含很多个store一个列族就划分成一个store**如果一个表中只有1个列族，那么每一个region中只有一个store如果一个表中有N个列族，那么每一个region中有N个store一个store里面只有一个memstorememstore是一块内存区域，写入的...
2020-02-14 10:02:25
646
原创 hive启动出错：NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException
错误如下：解决办法：标注的地方替换如下配置export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin:/opt/bigdata2.7/hbase-1.2.1/lib/*
2020-02-13 15:56:43
1644
1
原创 Hbase基础语法讲解与案例实战
1、Hbase基础语法1.1 进入HBase客户端命令操作界面node01执行以下命令，进入HBase的shell客户端首先配置hbase的环境变量cd /etc/prpfile输入:hbase shell1.2 help 帮助命令hbase(main):001:0> help1.3 list 查看有哪些表查看当前数据库中有哪些表hbase(mai...
2020-02-13 11:21:22
382
原创 Hbase原理架构与安装部署
1. HBase是什么1.1 HBase的概念HBase基于Google的BigTable论文，是建立的HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。在需要实时读写随机访问超大规模数据集时，可以使用HBase。1.2 HBase的特点海量存储可以存储大批量的数据列式存储HBase表的数据是基于列族进行存储的，列族是在列的方向上的划分。...
2020-02-12 09:22:38
254
原创 9、Hive面试总结
1、Hive导出数据有几种方式？如何导出数据（1）insert导出本地：insert overwrite local directory ‘本地路径’ select * from 表名;导出到HDFS：insert overwrite directory ‘hdfs路径’ select * from 表名;（2）hadoop命令hdfs dfs -get /user/hive/war...
2020-02-11 09:56:31
298
原创 8、HiveSQL案例实战
案例1：10001 700 2019-03-0110002 720 2019-03-0210003 740 2019-03-0310004 760 2019-04-0110005 780 2019-04-0210006 800 2019-04-0310007 820 2019-05-0110008 840 2019-05-0210009 860 2019-06-0110010 ...
2020-02-10 14:32:49
381
原创 7、Hive数据倾斜与解决方案
数据倾斜1、什么是数据倾斜由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点2、数据倾斜的现象在执行任务的时候，任务进度长时间维持在99%左右，查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。最长时长远大于平均时长。3、数据倾斜的情况...
2020-02-10 09:26:32
726
原创 6、Hive企业级优化策略
1、Fetch抓取优化Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算例如：select * from score;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台在hive-default.xml.template文件中 hive.fetch.task.conversion默认是more，老版...
2020-01-31 15:36:46
153
原创 5、Hive函数详解与案例实战
1、Hive系统内置函数1.1、数值计算函数1、取整函数: round语法: round(double a)返回值: BIGINT说明: 返回double类型的整数值部分 （遵循四舍五入）hive> select round(3.1415926) from tableName;3hive> select round(3.5) from tableName;4hive...
2020-01-28 01:56:42
704
原创 4、Hive压缩、存储原理详解与实战
1、Hive 压缩1.1数据压缩说明压缩模式评价：（1）压缩比（2）压缩时间（3）已经压缩的是否可以再分割；可以分割的格式允许单一文件有多个Mapper程序处理，才可以更好的并行化。Hadoop编码/解码器方式：1.2数据压缩使用压缩模式评价可使用以下三种标准对压缩方式进行评价1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好2、压缩时间：越快越好3、已经...
2020-01-22 14:42:52
212
原创 4、Hive压缩、存储原理详解与实战
1、Hive 压缩1.1数据压缩说明压缩模式评价：（1）压缩比（2）压缩时间（3）已经压缩的是否可以再分割；可以分割的格式允许单一文件有多个Mapper程序处理，才可以更好的并行化。Hadoop编码/解码器方式：1.2数据压缩使用压缩模式评价可使用以下三种标准对压缩方式进行评价1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好2、压缩时间：越快越好3、已经压...
2020-01-22 10:52:34
427
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人