文絮卿舀
码龄5年
关注
提问 私信
  • 博客：32,500
    社区：7
    32,507
    总访问量
  • 27
    原创
  • 2,036,332
    排名
  • 25
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：上海市
  • 加入CSDN时间： 2020-04-19
博客简介：

wuhahabanana的博客

查看详细资料
个人成就
  • 获得15次点赞
  • 内容获得6次评论
  • 获得106次收藏
  • 代码片获得140次分享
创作历程
  • 27篇
    2020年
成就勋章
兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

HBase简述及安装环境配置

HBase是什么是一个领先的NoSQL数据库是一个面向列存储的数据库是一个分布式hash map基于Google Big Table论文使用HDFS作为存储并利用其可靠性HBase特点数据访问速度快，响应时间约2-20毫秒支持随机读写，每个节点20k~100k+ ops/s可扩展性，可扩展到20,000+节点HBase采用Master/Slave架构linux下hbase配置下载需要的hbase 版本对应的压缩包，并解压，进入解压后的文件目录下的conf文件夹配置hbas
原创
发布博客 2020.06.30 ·
732 阅读 ·
2 点赞 ·
1 评论 ·
1 收藏

NoSQL简单概述

什么是NoSQLNoSQL：not only SQL，非关系型数据库NoSQL是一个通用术语指不遵循传统RDBMS模型的数据库数据是非关系的，且不使用SQL作为主要查询语言解决数据库的可伸缩性和可用性问题不针对原子性或一致性问题NoSQL和关系型数据库对比对比NoSQL关系型数据库常用数据库HBase、MongoDB、RedisOracle、DB2、MySQL存储格式文档、键值对、图结构表格式，行和列存储规范鼓励冗余规范性，避免重复存储
原创
发布博客 2020.06.30 ·
987 阅读 ·
3 点赞 ·
1 评论 ·
6 收藏

Hive UDF简单函数

概念在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数)。UDF分为两大类：UDAF（用户自定义聚合函数）和UDTF（用户自定义表生成函数)。　UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成MapReduce程序后，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF。Hive函数分类从输入输出角度分类：标准函数：一行数据中的一列或多
原创
发布博客 2020.06.16 ·
1110 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Hive--高级查询(CTE,JOIN)，装载数据(LOAD),数据交换(IMPORT,EXPORT),数据排序(ORDER BY、SORT BY、DISTIBUTE BY、CLUSTER BY )

Hive查询 - SELECT基础查询SELECT用于映射符合指定查询条件的行Hive SELECT是数据库标准SQL的子集使用方法类似于MySQLSELECT 1;SELECT [DISTINCT] column_nam_list FROM table_name;SELECT * FROM table_name;SELECT * FROM employee WHERE name!='Jack' LIMIT 4;CTE和嵌套查询CTE（Common Table Expression
原创
发布博客 2020.06.11 ·
1016 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

Apache HIVE 基础--基本概念，基本操作，分区，分桶，视图

什么是Hive?基于Hadoop的数据仓库解决方案将结构化的数据文件映射为数据库表提供类sq|的查询语言HQL (Hive Query Language)Hive让更多的人使用HadoopHive成为Apache顶级项目Hive始于 2007年的Facebook官网: hive.apache.orgHive的优势和特点提供了一个简单的优化模型HQL类SQL语法，简化MR开发支持在不同的计算框架.上运行支持在HDFS和HBase.上临时查询数据支持用户自定义函数、格式、宏成熟的JD
原创
发布博客 2020.06.11 ·
376 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException

FAILED: Execution Error,return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.MetaException(message:One or more instances could not be made persistent)
原创
发布博客 2020.06.10 ·
3565 阅读 ·
0 点赞 ·
2 评论 ·
0 收藏

Linux Hive安装与环境搭建

在虚拟机上搭建hive前，必须安装配置好hadoop以及mysql;安装Zookeeper下载zookeeper压缩包，完成后上传到Linux系统上的opt文件夹下tar -zxf /opt/zookeeper-3.4.5-cdh5.14.2.tar.gz将解压后的文件夹放入soft文件夹下mv zookeeper-3.4.5-cdh5.14.2 soft/zk345修改zookeeper配置文件，进入到zk345(zookeeper解压文件)文件夹下的conf文件夹，复制zoo_sampl
原创
发布博客 2020.06.10 ·
661 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

MapReduce实现innerjoin

小表数据大表数据map innerimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job
原创
发布博客 2020.06.09 ·
189 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

SSM项目-OA报销单管理系统(三)

普通表单<%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %><%@ page contentType="text/html;charset=UTF-8" language="java" %><jsp:include page="top.jsp"/><section id="content" class="table-layout animated fadeIn">
原创
发布博客 2020.06.04 ·
473 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

SSM项目-OA报销单管理系统(二)

创建包,配置文件,自定义字符编码过滤器dao层java下创建包dao(接口),entity(pojo实体类),global(工具类)spring-dao.xml dao配置文件<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst
原创
发布博客 2020.06.04 ·
478 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

SSM项目-OA报销单管理系统(一)

项目说明数据库-- 先创建库-- 再使用库USE oa;CREATE TABLE claim_voucher( id INT NOT NULL AUTO_INCREMENT, cause VARCHAR(100), create_sn CHAR(5), create_time DATETIME, next_deal_sn CHAR(5),
原创
发布博客 2020.06.04 ·
749 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

SSM项目-我爱我家（三）

视图HouseinfoMapper.java 房源信息接口//房源信息接口public interface HouseinfoMapper { //查询表信息 public List getHouseinfo(); //查询全部表信息 public List<Houseinfo> getHouseinfoAll(); //按条件查询表信息 public List getHouseinfoBy(HashMap conditionMa.
原创
发布博客 2020.06.04 ·
225 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

SSM项目-我爱我家（二）

首页<!DOCTYPE html><html><head> <meta charset="UTF-8"> <title>首页</title> <link type="text/css" rel="stylesheet" href="css/index.css" /> <script src="js/jquery-1.8.3.js"></script> &l
原创
发布博客 2020.06.04 ·
542 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

SSM项目-我爱我家(一)

#创建数据库、表-- 先创建数据库-- 使用数据库USE `myhouse`;SET NAMES utf8mb4;SET FOREIGN_KEY_CHECKS = 0;-- ------------------------------ Table structure for biaoqian-- ----------------------------DROP TABLE IF EXISTS `biaoqian`;CREATE TABLE `biaoqian` ( `bqid`
原创
发布博客 2020.06.04 ·
2191 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

SSM项目--企业工单管理系统（三）

服务器-Tomcat(写完页面以后配置)Controller层(controller控制器类,jsp页面)controller下创建控制器类ProjectController 项目组表控制器//ProjectController 项目组表控制器@Controllerpublic class ProjectController { //注入service层业务接口 @Autowired private ProjectService projectServ
原创
发布博客 2020.06.04 ·
1075 阅读 ·
1 点赞 ·
1 评论 ·
6 收藏

SSM项目--企业工单管理系统（二）

database.propertiesdriver=com.mysql.cj.jdbc.Driver#在和mysql传递数据的过程中，使用unicode编码格式，并且字符集设置为utf-8url=jdbc:mysql://127.0.0.1:3306/workordermanager?serverTimezone=UTC&amp;useUnicode=true&amp;characterEncodin=utf-8username=rootpassword=rootmybatis
原创
发布博客 2020.06.04 ·
508 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

MapReduce原理及编程（java实现Map、Reduce）

Hadoop架构HDFS - 分布式文件系统MapReduce - 分布式计算框架YARN - 分布式资源管理系统Common什么是MapReduce?MapReduce是一个分布式计算框架它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务。起源于Google适用于大规模数据处理场景每个节点处理存储在该节点的数据每个job包含Map和Reduce两部分MapReduce的设计思想分而治之–简化并行计算的编程模型构建抽象模型：Map和Reduce–开发人员专注于实现M
原创
发布博客 2020.06.04 ·
2265 阅读 ·
0 点赞 ·
0 评论 ·
9 收藏

SSM项目--企业工单管理系统（一）

项目目的：实现工单管理数据库创建：设置主外键-- 使用`workordermanager`数据库USE `workordermanager`;-- 查询`project`项目组表SELECT * FROM `project`;-- 查询`workorder`项目组表SELECT * FROM `workorder`;-- 使用`workordermanager`数据库USE `workordermanager`;-- 查询`project`项目组表SELECT * F
原创
发布博客 2020.06.04 ·
1779 阅读 ·
0 点赞 ·
2 评论 ·
18 收藏

JAVA-socket模拟客户端发送数据，后台接收存入hadoop

模拟客户端向后台发送数据package com.njbdqn;import java.io.IOException;import java.io.OutputStream;import java.net.Socket;public class MyClient extends Thread { @Override public void run() { int num=5000; for (int i=0;i<=num;i++) {
原创
发布博客 2020.06.03 ·
340 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hadoop分布式文件系统(HDFS)优缺点、角色、副本机制及文件读写

HDFS特点HDFS优点支持处理超大文件可运行在廉价机器上高容错性流式文件写入HDFS缺点不适合低延时数据访问场景（立即响应）不适合小文件存取场景不适合并发写入，文件随机修改场景HDFS CLI (命令行)基本格式hdfs dfs -cmd&lt;args&gt;hadoop fs -cmd&lt;args&gt;（已过时）命令和Linux相似-ls-mkdir-put-rm-helpSecondNameNode 每隔一定的时间查看Na
原创
发布博客 2020.06.02 ·
1165 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏
加载更多