bigdatahyy的博客

原创 VUE----页面组件与功能组件带你认清页面组件与功能组件的区别

@# 学习目标：提示：这里可以添加学习目标例如：一周掌握 Java 入门知识学习内容：提示：这里可以添加要学的内容例如：1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间：提示：这里可以添加计划学习的时间例如：1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点学习产出：提示：这里统计学习计划的总量例如：1、 技术笔记 2 遍2、CSDN 技术博客

原创 Vue CLI构建SPA项目教你手把手创建SPA项目

下载安装Vue-CLI官方文档：https://cli.vuejs.org/zh/首先要确定自己的电脑上安装了 Node.js 8.9 或更高版本。然后，我们就可以使用 npm 来安装 vue/cli ：npm install -g @vue/cli安装之后，我们可以在命令行中使用 vue 指令查看安装的版本：创建一个项目vue create 项目名称【第一步】手动选择组件【第二步】勾选需要安装的组件：​ babel：将ES6的语法转成浏览器可以执行的低版本js语法​ R

原创 Vue企业级开发模式介绍认知SPA不是大保健而是前后端分离的产物

什么是SPA？SPA(Single Page Application)：单页面应用程序，是一种前端的开发技术，是现在前、后端分离下的一种产物。传统的网站​ 我们传统的网站是由很 多个独立的页面 组成的，当我们点击页面中的 a 标签时，就会向服务器发送一个新的请求，然后下载另一个页面显示，跳转时是页面之间的跳转。SPASPA（单页面应用程序），顾名思议，整个网站中只有一个页面，在这个页面中会加载很多个不同的组件，当我们点击按钮时，并不会打开一个新的页面，而是还在当前的页面中切换显示不同的组件

原创 vue跨域的解决方案认知跨域的原因解决跨域的烦恼

VUE跨域的解决方案以下五种情况会引起跨域问题以下五种情况会引起跨域问题- 域名不同- 子域名不同- 端口不同- 协议不同- 域名和ip地址跨域不一定会产生跨域问题？特殊情况：script和img跨域的解决方案有哪些？- jsonp：可以解决跨域，但是只能接收get请求- nginx：通过配置文件解决跨域- cors：是w3c的标准，需要浏览器端和服务器端同时支持， IE10+以上的浏览器都支持，服务器做配置我个人遇到有两个跨域自己遇到的两个跨域问题:1、当你的前端方法是通

原创 大数据介绍和集群安装--hadoop

大数据介绍及集群安装第一部分 《大数据概述》第二部分《Hadoop详解》第三部分《Hadoop集群搭建》1、大数据概述2、什么是大数据？（Big Data）3、传统数据与大数据的对比4、大数据的特点5、大数据生态系统6、大数据技术为什么快？7、Hadoop详解8、Hadoop三大公司发型版本介绍9、Hadoop的架构模型（1.x，2.x的各种架构模型介绍）10、CDH版本Hadoop重新编译11、CDH 分布式环境搭建第八步：浏览器查看启动页面第一部分 《大数据概述》传统数据如何处理？什么是大数据

原创 Mybatis入门从新手村到打低级野怪

课程目标搭建MyBatis开发环境完成基于注解，单表增删改查操作完成基于注解，多表增删改查操作完成基于通用Mapper，单表增删改查操作完成分页操作完成基于XML，单表增删改查操作完成基于XML，完成动态SQL操作完成基于XML，多表查询1. MyBatis入门1.1 概述​ MyBatis是一个优秀的持久层框架，它对jdbc的操作数据库的过程进行封装，使开发者只需要关注 SQL 本身，而不需要花费精力去处理注册驱动、创建Connection、创建Statement、手动设置参数

原创 Hbase读写流程：整体读取流程

Hbase读写流程：整体读取流程目标掌握Hbase数据读取整体流程分析#根据rowkey来判断读取哪个regionget ns:tbname , rowkey#读取所有Regionscan ns:tbnamestep1：获取元数据step2：找到对应的Regionstep3：读取数据实现step1：获取元数据客户端请求Zookeeper，获取meta表所在的regionserver的地址读取meta表的数据注意：客户端会缓存meta表的数据，只有第一

原创 Hbase写入数据的流程

Hbase写入数据的流程知识点04：Hbase读写流程：meta表目标掌握Hbase写入数据的整体流程分析目标掌握Hbase数据写入的流程当执行一条Put操作，数据是如何写入Hbase的？put 表名 rowkey 列族：列 值分析step1：根据表名获取这张表对应的所有Region的信息step2：根据Rowkey判断具体写入哪个Regionstep3：将put操作提交给这个Region所在的RegionServerstep4

原创 二级索引--（Hbase）

二级索引为什么要构建二级索引为什么二级索引能提高查询性能？Phoenix为什么可以实现二级索引？什么是全局索引？什么是覆盖索引？什么是本地索引？为什么要构建二级索引Hbase使用Rowkey作为唯一索引，只有使用Rowkey前缀进行查询，才是索引查询导致大部分的查询都是不走索引，性能比较差为什么二级索引能提高查询性能？使用走两次索引代替全表扫描先走索引查询索引表，获取原表的rowkey再根据原表的rowkey查询原表的数据Phoenix为什么可以实现二级索引？Phoenix底层封装

原创 Zookeeper集群搭建-------------------（管理员）

Zookeeper集群搭建安装前需要安装好jdk（安装步骤）三个检查下载zookeeper安装包、解压修改环境变量（注意：其他节点的zookeeper都需要修改）修改Zookeeper配置文件分发安装包到其他机器修改其他机器的配置文件启动（每台机器）关闭查看集群状态安装前需要安装好jdk（安装步骤）到这就配置好了其他节点记得也要安装scp -r /export 其他节点主机名://etc/profile.d/java.sh 也要复制过去scp /etc/profile.d/java.sh

原创 hdfs的特殊使用命令

目标：掌握HDFS对目录如何进行限制。HDFS文件限额配置hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录下上传的文件数量或者文件内容总量，以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量数量限额hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件，上传文件，发现只能上传一个文件hdfs dfsadmin

原创 HDFS特性与缺点的概述

HDFS特性目标：掌握HDFS具备的特性1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性：数据保存多个副本，副本丢失后自动恢复。可构建在廉价的机器上，实现线性扩展。当集群增加新节点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。　　3、商用硬件：Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件（廉价商业硬件）的集群上的。4、大文件存储：HDFS采用数据块的方式存储数据，将数据物理切分

原创 HDFS的shell常规命令操作

目标：掌握HDFS操作数据的命令1）基本语法bin/hdfs dfs 具体命令2）参数大全[root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfsUsage: Hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum &

原创 Hadoop----hdfs数据校验

1、数据第一次写入成功后，会进行数据校验，获得校验和。2、数据读取前，对数据进行校验，获得校验和，计算得到的校验和与第一次上传后的校验和进行对比。3、两个校验和相同表示数据相同，可以提读取数据4、两个校验和不相同表示数据不相同，节点去其他节点读取数据节点周期进行校验和计算，防止数据丢失。...

原创 Hadoop----HDFS读取数据的流程

1、客户端通过调用FileSystem对象的open()来读取希望打开的文件。2、 Client向NameNode发起RPC请求，来确定请求文件block所在的位置；3、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址； 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时.

原创 Hadoop----HDFS写入数据的流程

1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、 client请求第一个block该传输到哪些DataNode服务器上；3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；4、 client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将整个.

原创 liunx----shell编程

Shell 编程简介shell 解释器2.2快速入门2 执行shell脚本shell变量1 简介使用变量删除变量只读变量字符串获取字符串长度提取子字符串查找子字符串传递参数Shell算术运算符例子流程控制关系运算符for 循环1 格式.2 随堂练习while 语句无限循环case(switch)跳出循环1 **break**命令2 continue函数使用1 函数的快速入门2 传递参数给函数数组1 定义数组2 实例3 读取数组4 实例5 获取数组中的所有元素5 获取数组的长度遍历数组方式一方式二加载其它文

原创 hadoop hdfs （通俗易懂）

快速掌握hadoop和集群安装1、传统数据与大数据的对比2、大数据服务器安装规范3、传统数据与大数据处理方式对比4、大数据5、Hadoop内部组成6、HDFS全称7、HDFS组成部分8、HDFS存储数据的方式9、数据副本存放机制10、什么是名字空间11、NameNode的作用12、DataNode的作用13、HDFS写入数据的流程14、HDFS读取数据的流程15、数据校验16、DataNode节点丢失周期1、传统数据与大数据的对比2、大数据服务器安装规范系统硬盘 两块硬盘做一个RAID1 引

原创 vmware安装虚拟机 （简单易学）

虚拟机安装这里先下一步才会出现这个谈话框

原创 大数据前景

原创 大数据介绍 详情

什么是大数据?大数据：指数据集的大小超过了现有典型的数据库软件和工具的处理能力的数据。大数据的特点主要特点 海量化(Volume):数据量从TB到PB级别 多样化(Variety):数据类型复杂，超过80%的数据是非结构化的 快速化(Velocity):数据量在持续增加(两位数的念增长率)数据的处理速度要求高 高价值(Value):在海量多样数据的快速分析下能够发挥出更高的数据价值大数据能做什么海量数据背景下 快速查询 - 全量查询 数据存储 - 量大、文件大

原创 VI 编辑器(一)

Cut按照字符提取 head -2 1.txt | cut -c 5指定分隔符 head -2 1.txt | cut -d ‘:’ -f 1,2Sort文本排序sort 文件名文本排序反转sort -r 文件名文本排序去重sort -u 文件名数值按大小排序sort -n 文件名指定分隔符、指定排序列sort -t ‘分隔符’ -k2nr 文件名Wc查看文件基本信息wc 文件名

原创 VI 编辑器(二)

vi 编辑器的常用命令vi 编辑器的三种模式a) 命令模式b) 编辑模式c) 末行模式末行模式保存并退出:wq / x !不保存强制退出 :q !行内移动以单词为单位向后移动 w以单词为单位向前移动 b光标移动到行首 0 / ^ 光标移动到行尾 $行数移动移动到首行 gg 移动到尾行 G 定位到某一行 数字gg / 数字G / :数字段落以段落为单位后移 }以段落为单位前移 {撤销 撤销命令

原创 大数据虚拟机网络源

大数据虚拟机本地源**注意????*配置网络源时得先配置好本地源然后下载httpd(yum nstall -y httpd)查看httpd的状态并启动与关闭防火墙并永久关闭防火墙本地源改网络源建立/tmp/cdrom与/var/www/html/cdrom 软连接**注意:**刚刚在CentOS-Media.repo文件中我用的是虚拟机的主机名来做网络源**注意:**临时挂载得磁盘重启后都得重新挂载...

原创 虚拟机安装tomcat、mysql、定时任务、时钟同步

**一、TomCat安装部署【不用背】** 1、软件包的上传与解压 tar zxvf apache-tomcat-6.0.53.tar.gz -C …/servers/2、直接启动，并查看启动日志 ./startup.sh && tail -100f …/logs/catalina.out3、验证，在浏览器访问http://192.168.10.132:8080/二、Mysql安装部署a、安装部署 yum install -y mysql-se

原创 虚拟机网络源

网络源(本地源操作步骤我的博客中有欢迎大家访问)本地源下在httpd （yum install -y httpd）查看httpd的状态并开启httpd（/etc/init.d/httpd status /etc/init.d/httpd start）关闭防火墙与永久关闭防火墙 (/etc/init.d/iptables stop chkconfig iptables off)改主机名(vi /etc/sysconfig/network)改hosts文件(vi /etc/hosts 添

原创 虚拟机本地源

虚拟机配置本地源和网络源1、配置另一个磁盘进行分区并挂载 右键所使用的虚拟机，点击设置 磁盘添加磁盘临时挂载与永久性挂载开始分区注意：我所添加的磁盘大小为20g这里显示的是2610，所以你要分两个磁盘并且都为10g时那就对半分就好展示：磁盘格式化：格式化了第一个分区，如果格式化第二个如法炮制即可展示:在临时文件夹mnt中创建两个文件夹临时挂载这就代表挂载成功了永久性挂载把那两个临时挂载的uuid的编号和路径写到里面，/etc/fstab 中注

原创 数据库查询 经典题--实用又好

1、 查询和"01"号的同学学习的课程完全相同的其他同学的信息2、查询各科成绩最高分、最低分和平均分：以如下形式显示：课程ID，课程name，最高分，最低分，平均分，及格率，中等率，优良率，优秀率-- 及格为>=60，中等为：70-80，优良为：80-90，优秀为：>=903、查询所有课程的成绩第2名到第3名的学生信息及该课程成绩4、统计各科成绩各分数段人数：课程编号,课程名称,[100-85],[85-70],[70-60],[0-60]及所占百分比5、10、查询学过编号为"0