- 博客(137)
- 收藏
- 关注
RSS订阅
原创 Hadoop集群初体验
数据的上传 创建文件夹：hadoop fs -mkdir /BD19 查看文件夹内容： hadoop fs -ls /BD19 上传数据：hadoop fs -put XXX.txt /BD19大数据计算 计算pi 3.141592653……hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.1
2020-10-07 08:17:13
10137
原创 Hadoop安装部署
Hadoop安装部署1、 软件包上传并解压a) tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C …/servers/2、 第二步查看hadoop支持的压缩方式以及本地库a) ./hadoop checknativeb) 安装opensslyum -y install openssl-devel./hadoop checknative3、 修改配置文件a) core-site.xmlb) hdfs-site.xml
2020-10-07 08:16:14
10186
原创 Hadoop集群安装部署
1、 服务器主机名和IP配置（三台）2、 修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）3、 管理节点到从节点配置无密码登录4、 配置jdk 1.8（三台）5、 关闭防火墙（三台）6、 关闭selinux（三台）vi /etc/selinux/configSELINUX=enforcing SELINUX=disabled重启系统...
2020-10-07 08:10:49
9976
原创 大数据的特点
数据集主要特点Volume（大量）: 数据量巨大，从TB到PB级别。Velocity（高速）: 数据量在持续增加(两位数的年增长率)。Variety（多样）: 数据类型复杂，超过80%的数据是非结构化的。Value（低密度高价值）: 低成本创造高价值。其他特征数据来自大量源，需要做相关性分析。需要实时或者准实时的流式采集，有些应用90%写vs.10%读。数据需要长时间存储，非热点数据也会被随机访问。...
2020-10-05 15:12:36
14793
1
原创 什么是大数据？
什么是大数据？1，是指 无法 在一定时间范围内用 常规软件工具 进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2， 是指一种 规模大 到在获取、存储、管理、分析方面大大 超出了传统数据库软件工具能力范围 的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...
2020-10-05 15:05:23
13592
3
原创 虚拟机创建
一、 开启电脑虚拟化功能查看笔记本是否支持：鼠标右击任务栏—》任务管理器—》点击性能—》右下角查看虚拟化状态：已禁用or已启用。进入BIOS参考以下按键，开机时按住对应的键进入BIOS：组装机以主板分：（1）华硕按F8、（2）Intel按F12,（3）其他品牌按ESC、F11或F12；（4）笔记本以品牌分（5）联想ThinkPad系列按F1；（6）其他品牌按F2；品牌台式机按品牌分：（1）Dell按ESC；（2）其他按F12；如果仍然不能进入BIOS，找找电脑（主板）说明书或者
2020-10-04 08:14:19
12475
1
原创 k8s集群搭建
至此k8s集群部署完毕，使用kubectl get nodes可以看到k8s节点状态都是就绪状态。此时因为没有添加网络，所以执行kubectl get nodes 是节点状态异常，需要添加网络。在master节点init完毕之后会有一行join命令，复制到各个节点去加入即可。注释掉带有swap分区这行 (如下最后一行)8.添加kubernetes阿里云yum源。更改后需重启docker。永久关闭selinux。修改完毕后需要重启系统。永久关闭swap分区。执行完毕后，导入配置。
2024-05-30 15:12:44
160
原创 MySQL主从搭建--保姆级教学
注意：主数据库的配置文件中配置了需要同步的数据库，因此只会同步配置的数据库，不配置则同步全部。（3）mysql账户密码错误：用"mysql -u用户名 -p密码 -h主机ip"尝试登录主机。（1）网络不通：用ping指令尝试是否可以接收到返回的数据。（4）主数据库参数设置错误(注意此条命令的参数)通过工具连接主从数据库或者在服务器连接。（4）mysql主从机配置文件写错。（3）mysql账户密码错误。（6）主机未开放账户连接权限。（5）配置从机连接语法错误。（2）防火墙端口未开放。
2024-05-30 15:11:08
562
原创 数据湖和数据仓库
数据湖是一个存储企业各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。数据湖从企业的多个数据源获取原始数据，并且针对不同的目的，同一份原始数据还可能有多种满足特定内部模型格式的数据副本。因此，数据湖中被处理的数据可能是任意类型的信息，从结构化数据到完全非结构化数据。数据湖的核心原则是集中存储原始的、未经改变的全量数据，在提取数据时才进行转换。数据湖存储各种类型数据，重点是非结构化和半结构化数据，通过统一视图提供开放访问。
2024-05-07 17:37:40
326
原创 大数据名词——MPP（Massively Parallel Processing）数据集市
MPP数据集市会对数据进行复制和分布，以确保数据的冗余性和高可用性。这使得数据的查询、分析和处理可以以高并发和高吞吐量的方式进行，从而提高数据处理的速度和效率。MPP数据集市通常由多个节点组成，每个节点都具备计算和存储能力，并且可以同时处理大量的数据。通过并行处理和优化的查询执行计划，MPP数据集市可以高效地处理复杂查询，并快速返回结果。：MPP数据集市通常提供安全性控制机制，包括对数据的加密、访问权限管理、审计日志等功能，以保证数据在存储和处理过程中的安全性和合规性。
2023-09-18 13:38:59
594
原创 redisson配置类---SpringBoot集成、redis单机和集群模式配置
【代码】redisson配置类---SpringBoot集成、redis单机和集群模式配置。
2023-08-14 14:46:10
5201
原创 Docker安装Oracle_11g
docker创建oracleoracle在docker中的基本使用Navicat 连接oracle注意事项
2022-06-22 15:52:49
4226
4
原创 Oozie常用命令
启动命令:bin/oozied.sh start关闭命令:bin/oozied.sh stop页面访问:http://node01:11000/oozie/查看信息:bin/oozie job -oozie http://node01:11000/oozie -info 0000029-191027171933033-oozie-root-C查看日志:bin/oozie job -oozie http://node01:11000/oozie -log 0000064-1909232258
2022-04-14 17:49:43
2137
2
原创 hive调优
1 Fetch抓取（Hive可以避免进行MapReduce）Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROMemployees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不
2022-03-09 09:54:19
174
原创 linux系统中 crontab任务调度
原理：基本语法：crontab [选项]常用选项：选项 : 含义-e : 编辑crontab定时任务 -l : 显示crontab任务-r : 删除当前用户所有的crontab任务7.8.3 案例: 每隔1分钟将时间打印到 /export/文件中方案一: 直接式第一步: date >> /export/mydate1.txt 测试命令第二步: 通过 crontab -e 进入 定时任务第三步: 编辑
2022-03-04 11:48:42
142
原创 Mybatis -plus(配置文件、pom.xml、工具类)
1、common模块：1.1:util包下JWTUtil.javapackage com.czxy.util;import io.jsonwebtoken.Claims;import io.jsonwebtoken.JwtBuilder;import io.jsonwebtoken.Jwts;import io.jsonwebtoken.SignatureAlgorithm;import org.joda.time.DateTime;import javax.crypto.spec.Sec
2021-12-27 20:54:48
1805
原创 手机验证码注册(springcloud+rabbitMQ+redis+微服务+Alibaba短信发送)
注册技术：springcloud+rabbitMQ+redis+微服务+短信发送前置准备：启动mq：docker start mq 浏览器访问192.168.88.130:15672：启动nacos： 在nacos的bin目录下输入cmd：startup.cmd -m standalone：看到这两个面板说明启动成功。注册流程：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gQTQpgZW-1638519397073)(C:\Users\q\AppD
2021-12-03 16:19:42
2842
原创 docker启动运行mysql容器（解决mysql数据中文乱码）
docker启动运行mysql容器：启动mysql实例$ docker run --name mingxie-mysql -p 32xxx:3306 -e MYSQL_ROOT_PASSWORD=1234 -d mysql:latest在shell中访问mysqldocker exec -it mingxie-mysql bashroot@7c289aa0ca95:/#mysql -uroot -p -h localhostEnter password:如果数据库会乱码：1.更新源库并安
2021-11-25 20:16:51
923
原创 Docker简答题
什么是docker？1、Docker是一个快速交付应用、运行应用的技术：2、可以将程序及其依赖、运行环境一起打包为一个镜像，可以迁移到任意Linux操作系统3、运行时利用沙箱机制形成隔离容器，各个应用互不干扰4、启动、移除都可以通过一行命令完成，方便快捷Docker和虚拟机的差异：1、docker是一个系统进程；虚拟机是在操作系统中的操作系统2、docker体积小、启动速度快、性能好；虚拟机体积大、启动速度慢、性能一般什么是镜像？什么是容器？Docker结构是什么？什么是Dockerhub？
2021-11-25 20:13:55
611
原创 Spring+RestFul+Vue多表（学校，老师，类型）
数据库SQL（有三个表：校区表，老师表，类型表）： CREATE TABLE `t_school` (`id` int(11) NOT NULL AUTO_INCREMENT,`school_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,PRIMARY KEY (`id`) USING.
2021-11-01 18:02:01
206
原创 Spring+Vue-Spa案例（员工增删改查）
后端/* Navicat Premium Data Transfer Source Server : mysql Source Server Type : MySQL Source Server Version : 80026 Source Host : localhost:3306 Source Schema : ssm_db3 Target Server Type : MySQL Target Server Versi
2021-10-29 21:38:14
361
1
原创 Vue-Router
1 Vue-Router介绍在 SPA 中，网站内容的变换实际上的组件的切换，为了方便的实现组件间的切换，Vue 框架引入了 vue-router 工具来实现多个组件之间的切换。2.1 体验在使用 vue-router 之前，我们需要先配置访问的路径与要显示的组件的对应关系。我们需要在 router.js 文件中进行配置。初体验：方式一：（）添加路由：再次查看页面:方式二：(this.$router.push("/路由路径"))页面展示：点击按钮：（效果如下）...
2021-10-28 15:49:01
354
2
原创 SPA项目
1.SPA项目目录介绍我们写的代码都在 src 目录中：2.入口文件main.js介绍2.1 体验2.1.1 main.js的功能入口文件，项目启动之后会最先运行 main.js 文件2.1.2 main.js代码详解import Vue from 'vue'import App from './App.vue'import router from './router'import store from './store'Vue.config.productionTip = fal
2021-10-28 15:44:51
483
原创 Vue CLI构建SPA项目
首先要确定自己的电脑上安装了 Node.js 8.9 或更高版本。然后，我们就可以使用 npm 来安装 vue/cli ：npm install -g @vue/cli安装之后，我们可以在命令行中使用 vue 指令查看安装的版本：vue --version创建项目vue create 项目名称手动选择组件勾选需要安装的组件选择版本（随便选择哪个）使用路由的 history 模式：把配置写到 package.json 文件中：不保存本次的配置：创建成功：执行：
2021-10-28 15:42:51
347
原创 SPA-Vue企业级开发模式
vue-spa什么是SPA？SPA（单页面应用程序），项目中只需要1个html页面，多个功能组件，页面跳转其实就是切换组件。SPA的优缺点优点1、减轻服务器的压力：一个网站只有一个页面，只需要从服务器加载一次2、并且把大量操作都放到了浏览器中去完成3、前、后端完成分离，使服务器只需要提供同一套 JSON 数据接口，就可以同时满足WEB端、桌面端、手机端等不同的前端设备4、而且前端只关注前端、后端只操作数据，各司其职缺点1、首屏加载速度可能会很长2、SEO（搜索引擎优化）
2021-10-28 15:39:33
421
原创 Please specify it either inyarn-env.cmd or in the environment./vue-cli-version-marker
使用vue@Cli创建vue项目时遇到此报错在c盘用户文件夹中找到此文件：把这行的value修改成 “npm”
2021-10-28 15:37:39
1201
原创 Springboot+Vue+axios案例
案例1 概述学生管理系统班级管理：添加班级、修改班级、查询班级、删除班级学生管理：添加学生、修改学生、查询学生（含条件）、删除学生2 表结构create database ssm_db3;use ssm_db3;-- 班级表create table tb_class( `c_id` varchar(32) primary key comment '班级ID', `c_name` varchar(50) comment '班级名称', `desc` varchar(2
2021-10-25 21:19:15
1402
2
原创 Vue事件绑定
事件绑定1.1 绑定事件回顾 javascript<input type="button" onclick="函数名"/><script> function 函数名() { }</script>vue 使用 v-on进行事件绑定<input type="button" v-on:click="函数名"/><script> new Vue({ el : ...,
2021-10-25 20:55:32
399
原创 Vue基本语法
Vue基本语法1 什么是vuevue : js框架，构建用户界面将学习vue众多技术，称为vue全家桶：vue、spa、vue-router、vuex、element-ui 等2 入门案例<html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> &
2021-10-25 20:54:24
398
原创 Axios基本操作
Axios基本操作1 搭建后端环境1.2 步骤创建maven项目：day19_axios导入坐标编写启动类编写JavaBean编写Controller1.3 实现创建maven项目：day19_axios导入坐标 <!--确定spring boot版本--> <parent> <groupId>org.springframework.boot</groupId> <artif
2021-10-21 16:14:50
343
原创 ES 6 基本语法
ES 6 基本语法1 对象简写对象简写规则1：变量名和key如果重名，变量名可省略，且key不能使用引号规则2：如果值是函数，“: function” 可省略// 1 对象简写// 1.1 回顾 js对象格式// 1.1.1 定义：var username = 'jack'var password = '6666'var obj = { "username": username, "password": password, getAge: functi
2021-10-21 16:11:29
793
原创 SpringBoot入门（环境搭建，基础测试）
spring boot1 概述什么是 spring boot ？用来简化新Spring应用的初始搭建以及开发过程特点：维护依赖，解决jar冲突。提供众多启动器 ....-starter （相当于jar包集合）简化配置，大大减少了配置文件、配置类。默认实现，默认情况下，提供了众多解决方案。2 入门案例：手动搭建2.1 分析创建maven项目在pom.xml文件，添加 web开发启动器编写controller，基于RESTFul编写启动类2.2 实施创建ma
2021-10-21 16:05:41
474
原创 Maven项目搭建
Maven：1.打开idea点击创建项目2.创建maven项目3.填写相关坐标（组名，项目名，版本）4.直接下一步创建项目5.右击项目名，创建子模块：common（公共模块）6.子模块项目：直接下一步因为继承了父模块，所以组名和版本号是继承父类的直接下一步子模块创建完成按创建common的方法创建dao，domain，service，web等模块7.在web模块下添加war打包因为没有web.xml文件，所以需要在web模块的pom文件中添加：<prop
2021-10-18 17:58:38
482
原创 Spring(拦截器)
3. spring mvc 拦截器3.1 概述spring mvc拦截器相当于 java web filter在处理器执行过程中，进行拦截或处理preHandler 拦截器处理前方法，如果返回true继续执行，如果返回false，表示被拦截。postHandler 拦截器处理方式，controller执行完成后，将执行处理方法。afterCompletion 完成方法，视图渲染完成触发。3.2 入门案例环境：项目、jar包、配置类测试程序：controller、jsp
2021-10-15 08:29:41
321
原创 Spring（RESTFul风格）
RESTFul1 什么是RESTFulRESTFul编写程序一种风格，不是协议。对HTTP协议诠释（落地方案），请求方式的落地http协议共7种，常见4种，最长使用2种getpostputdeleteRESTFul对服务器程序操作，进行约定。每一个操作组成：请求路径 + 请求方式 。 （一个路径，因为请求方式的不同，可以完成不同操作）数据传输方式：JSON数据// 传统开发路径查询：http://localhost:8080/user/selectAll.acti
2021-10-15 08:26:18
1076
原创 Spring(JSON数据交互)
JSON1 JSON 使用流程分析2 JSON数据什么是JSON数据？是一种轻量级的数据交换格式。轻量级，不依赖任何框架，任何语言。数据分类：对象、数组对象key必须使用双引号value除特殊类型外，都需要使用双引号。（特殊类型：数字、布尔true/false）{ "k":"v", "k2":"v2",....}数组[ 元素,元素2,....]3 入门案例3.1 目标目标：请求JSON数据，响应JSON数据案例：用
2021-10-15 08:23:24
675
原创 Spring文件上传（单文件上传，多文件上传）
文件上传1 单文件上传步骤1：环境搭建，拷贝jar包步骤2：环境搭建，编写配置类 @Bean public CommonsMultipartResolver multipartResolver(){ CommonsMultipartResolver multipartResolver = new CommonsMultipartResolver(); // 设置所有的上传文件的总大小 10M multipartResolver
2021-10-15 08:19:55
600
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人