- 博客(27)
- 收藏
- 关注
RSS订阅原创 HBase简述及安装环境配置
HBase是什么是一个领先的NoSQL数据库是一个面向列存储的数据库是一个分布式hash map基于Google Big Table论文使用HDFS作为存储并利用其可靠性HBase特点数据访问速度快，响应时间约2-20毫秒支持随机读写，每个节点20k~100k+ ops/s可扩展性，可扩展到20,000+节点HBase采用Master/Slave架构linux下hbase配置下载需要的hbase 版本对应的压缩包，并解压，进入解压后的文件目录下的conf文件夹配置hbas
2020-06-30 12:04:48
693
1
原创 NoSQL简单概述
什么是NoSQLNoSQL：not only SQL，非关系型数据库NoSQL是一个通用术语指不遵循传统RDBMS模型的数据库数据是非关系的，且不使用SQL作为主要查询语言解决数据库的可伸缩性和可用性问题不针对原子性或一致性问题NoSQL和关系型数据库对比对比NoSQL关系型数据库常用数据库HBase、MongoDB、RedisOracle、DB2、MySQL存储格式文档、键值对、图结构表格式，行和列存储规范鼓励冗余规范性，避免重复存储
2020-06-30 10:20:55
899
1
原创 Hive UDF简单函数
概念在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数)。UDF分为两大类：UDAF（用户自定义聚合函数）和UDTF（用户自定义表生成函数)。 UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成MapReduce程序后，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF。Hive函数分类从输入输出角度分类：标准函数：一行数据中的一列或多
2020-06-16 19:41:05
891
原创 Hive--高级查询(CTE,JOIN)，装载数据(LOAD),数据交换(IMPORT,EXPORT),数据排序(ORDER BY、SORT BY、DISTIBUTE BY、CLUSTER BY )
Hive查询 - SELECT基础查询SELECT用于映射符合指定查询条件的行Hive SELECT是数据库标准SQL的子集使用方法类似于MySQLSELECT 1;SELECT [DISTINCT] column_nam_list FROM table_name;SELECT * FROM table_name;SELECT * FROM employee WHERE name!='Jack' LIMIT 4;CTE和嵌套查询CTE（Common Table Expression
2020-06-11 23:08:41
923
原创 Apache HIVE 基础--基本概念，基本操作，分区，分桶，视图
什么是Hive?基于Hadoop的数据仓库解决方案将结构化的数据文件映射为数据库表提供类sq|的查询语言HQL (Hive Query Language)Hive让更多的人使用HadoopHive成为Apache顶级项目Hive始于 2007年的Facebook官网: hive.apache.orgHive的优势和特点提供了一个简单的优化模型HQL类SQL语法，简化MR开发支持在不同的计算框架.上运行支持在HDFS和HBase.上临时查询数据支持用户自定义函数、格式、宏成熟的JD
2020-06-11 22:36:46
329
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
FAILED: Execution Error,return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.MetaException(message:One or more instances could not be made persistent)
2020-06-10 11:08:50
3288
1
原创 Linux Hive安装与环境搭建
在虚拟机上搭建hive前，必须安装配置好hadoop以及mysql;安装Zookeeper下载zookeeper压缩包，完成后上传到Linux系统上的opt文件夹下tar -zxf /opt/zookeeper-3.4.5-cdh5.14.2.tar.gz将解压后的文件夹放入soft文件夹下mv zookeeper-3.4.5-cdh5.14.2 soft/zk345修改zookeeper配置文件，进入到zk345(zookeeper解压文件)文件夹下的conf文件夹，复制zoo_sampl
2020-06-10 08:27:48
628
原创 MapReduce实现innerjoin
小表数据大表数据map innerimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job
2020-06-09 15:26:41
163
原创 SSM项目-OA报销单管理系统(三)
普通表单<%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %><%@ page contentType="text/html;charset=UTF-8" language="java" %><jsp:include page="top.jsp"/><section id="content" class="table-layout animated fadeIn">
2020-06-04 19:03:24
432
原创 SSM项目-OA报销单管理系统(二)
创建包,配置文件,自定义字符编码过滤器dao层java下创建包dao(接口),entity(pojo实体类),global(工具类)spring-dao.xml dao配置文件<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst
2020-06-04 18:12:06
430
原创 SSM项目-OA报销单管理系统(一)
项目说明数据库-- 先创建库-- 再使用库USE oa;CREATE TABLE claim_voucher( id INT NOT NULL AUTO_INCREMENT, cause VARCHAR(100), create_sn CHAR(5), create_time DATETIME, next_deal_sn CHAR(5),
2020-06-04 17:47:13
705
原创 SSM项目-我爱我家（三）
视图HouseinfoMapper.java 房源信息接口//房源信息接口public interface HouseinfoMapper { //查询表信息 public List getHouseinfo(); //查询全部表信息 public List<Houseinfo> getHouseinfoAll(); //按条件查询表信息 public List getHouseinfoBy(HashMap conditionMa.
2020-06-04 17:24:07
197
原创 SSM项目-我爱我家（二）
首页<!DOCTYPE html><html><head> <meta charset="UTF-8"> <title>首页</title> <link type="text/css" rel="stylesheet" href="css/index.css" /> <script src="js/jquery-1.8.3.js"></script> &l
2020-06-04 17:16:32
336
原创 SSM项目-我爱我家(一)
#创建数据库、表-- 先创建数据库-- 使用数据库USE `myhouse`;SET NAMES utf8mb4;SET FOREIGN_KEY_CHECKS = 0;-- ------------------------------ Table structure for biaoqian-- ----------------------------DROP TABLE IF EXISTS `biaoqian`;CREATE TABLE `biaoqian` ( `bqid`
2020-06-04 17:10:52
2129
原创 SSM项目--企业工单管理系统（三）
服务器-Tomcat(写完页面以后配置)Controller层(controller控制器类,jsp页面)controller下创建控制器类ProjectController 项目组表控制器//ProjectController 项目组表控制器@Controllerpublic class ProjectController { //注入service层业务接口 @Autowired private ProjectService projectServ
2020-06-04 16:51:10
1024
1
原创 SSM项目--企业工单管理系统（二）
database.propertiesdriver=com.mysql.cj.jdbc.Driver#在和mysql传递数据的过程中，使用unicode编码格式，并且字符集设置为utf-8url=jdbc:mysql://127.0.0.1:3306/workordermanager?serverTimezone=UTC&useUnicode=true&characterEncodin=utf-8username=rootpassword=rootmybatis
2020-06-04 16:27:19
472
原创 MapReduce原理及编程（java实现Map、Reduce）
Hadoop架构HDFS - 分布式文件系统MapReduce - 分布式计算框架YARN - 分布式资源管理系统Common什么是MapReduce?MapReduce是一个分布式计算框架它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务。起源于Google适用于大规模数据处理场景每个节点处理存储在该节点的数据每个job包含Map和Reduce两部分MapReduce的设计思想分而治之–简化并行计算的编程模型构建抽象模型：Map和Reduce–开发人员专注于实现M
2020-06-04 15:42:14
1961
原创 SSM项目--企业工单管理系统（一）
项目目的：实现工单管理数据库创建：设置主外键-- 使用`workordermanager`数据库USE `workordermanager`;-- 查询`project`项目组表SELECT * FROM `project`;-- 查询`workorder`项目组表SELECT * FROM `workorder`;-- 使用`workordermanager`数据库USE `workordermanager`;-- 查询`project`项目组表SELECT * F
2020-06-04 14:32:47
1691
2
原创 JAVA-socket模拟客户端发送数据，后台接收存入hadoop
模拟客户端向后台发送数据package com.njbdqn;import java.io.IOException;import java.io.OutputStream;import java.net.Socket;public class MyClient extends Thread { @Override public void run() { int num=5000; for (int i=0;i<=num;i++) {
2020-06-03 19:02:26
304
原创 Hadoop分布式文件系统(HDFS)优缺点、角色、副本机制及文件读写
HDFS特点HDFS优点支持处理超大文件可运行在廉价机器上高容错性流式文件写入HDFS缺点不适合低延时数据访问场景（立即响应）不适合小文件存取场景不适合并发写入，文件随机修改场景HDFS CLI (命令行)基本格式hdfs dfs -cmd<args>hadoop fs -cmd<args>（已过时）命令和Linux相似-ls-mkdir-put-rm-helpSecondNameNode 每隔一定的时间查看Na
2020-06-02 18:54:42
1071
原创 linux命令随笔
Linux touch命令用于修改文件或者目录的时间属性，包括存取时间和更改时间。若文件不存在，系统会建立一个新的文件。ls -l 可以显示档案的时间记录。expr命令是一个手工命令行计数器，用于在UNIX/LINUX下求表达式变量的值，一般用于整数值，也可用于字符串。Linux du命令用于显示目录或文件的大小。du会显示指定的目录或文件所占用的磁盘空间Linux kill命令用于删除执行中的程序或工作。kill可将指定的信息送至程序。预设的信息为SIGTERM(15)，可将指定程序终止。若仍
2020-06-01 18:45:03
114
原创 Hadoop安装及环境变量配置
Hadoop 是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应
2020-06-01 16:57:19
8390
原创 正则便签
正则是一种弱语言，是嵌入其他语言中做匹配的格式相同，内容不同 正则的作用1.字符分割split2.字符匹配matcher3.字符替换replace4.字符搜素find search正则描述的是规则\d 一个数字\D 一个非数字\w 一个字母 0-9，a-z\W 一个非字母. 任意一个字符（这是一个点）? 1.修饰符 修饰前一个正则出现的次数为0或1次（出现次数可以为0时需要注意，可以不出现，那么久可能会查出问题）2.模式选择（贪婪模式 or
2020-05-13 19:58:30
101
原创 linux便签（常用指令2）
echo命令使用echo命令可以打印变量的值echo $PATHprintenv命令printenv命令可以打印环境变量printenvmore、less命令more、less命令可以查看文件内容printenv | more （摁空格自动翻页，自动退出）printenv | less (每次回车走一页，最后摁q退出)wc命令wc命令用于计算字数-w 统计单词个数-I 统计行数-L 计算最长行的长度管道命令（|）管道把左侧程序的输出作为右侧程序的输入printenv
2020-05-13 19:53:33
282
原创 mysql便签（常用指令）
cmd（右键以管理员身份运行）访问本地cmd——mysql -uroot -proot（密码） 登录exit 退出net start mysql 启动net stop mysql 停止DDL操作库1.创建库（data下的数据库文件夹）create database 库名; 创建create database if not exists 库名; 如果没有这个库名，再创建create database 库名 character set gbk;
2020-05-12 21:51:58
202
原创 linux便签（常用指令1）
Linux 目录操作命令pwd：查看当前所在目录cd：打开目录ls –a：查看目录下文件ll：以列的方式显示目录下的文件列表mkdir：创建文件目录rm –rf：删除文件或目录rm ri：删除文件前询问用户cp：复制文件命令mv：移动文件或修改文件名head：从文件开始显示文件内容head –n：显示指定文件开始的n行数据tail：从文件结尾显示文件内容tail –f：动态加载某个文件的内容tail –n：查看某个文件结尾N行的内容查看文件中4-6行的内容： head -6 a
2020-05-12 20:56:54
643
原创 SpringBoot简单增删改查
SpringBoot简单增删改查crud学习Spring Boot,逐渐使用Spring Boot开始对spring mvc项目进行提升,Spring Boot相较于spring mvc的代码亮得到了优化,代码更加精简,需要进行的配置更加简洁. 先从创建数据库开始,一共三个表,商品表,用户表,消费记录表(此处应理解为订单表更合适,下面都用订单表来对此进行描述)商品表中模拟存在三种商品,假定数...
2020-04-19 18:08:58
1871
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人