lljazxx的博客

原创 1024!!!!!!!

原创 layui中的字体颜色设置 字符串颜色改变

layui中的字体颜色设置 字符串颜色改变layui改变颜色非常方便'字符串'.fontcolor("颜色英文单词");例子：{field:'state', width:160, title: '订单状态', templet:function(data){ var result = ""; ...

原创 layui中的templet中的if语句

layui中的templet中的if语句{fixed: 'right', title:'操作', width:90, templet:function(data){ if(data.state ==0) return '<a class="layui-btn layui-btn-xs" lay-event="send">派送</a>' ...

原创 mybatis中mapper.xml文件中的模糊查询 like '%XXX%'

mybatis中mapper.xml文件中的模糊查询 like concat( ‘%’,#{XXX},’%’)sql语句：SELECT * FROM table WHERE Method LIKE CONCAT('%', #{xxx}, '%') ;

原创 layui动态模板中的if else

layui js中的if else<script type="text/html" id="titleTpl">{{# if(xxxx){ }}{{# } else if(xxxxx) { }}{{# } else { }}{{# } }}</script>例子：<script type="text/html" id="titleTpl"&gt...

原创 前端获取页面上输入的值

layui前端获取页面上输入的值<div class="layui_page"> <div> <input type="text" name="title" id="txt"value="请输入客户名" placeholder="请输入客户名" class="layui-input"> </div&...

原创 数据库时区问题，为什么前端取到的时间和数据库中不一致

数据库时区问题，为什么前端取到的时间和数据库中不一致原因：时区不一致，多数情况下，你数据库中的time_zone的值为SYSTEM解决办法：url=jdbc:mysql://127.0.0.1:3306/yourDB?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8...

原创 layUI前台"2020-04-01T16:00:00.000+0000"日期格式转换

layUI前台"2020-04-01T16:00:00.000+0000"日期格式转换实现：2020-04-01T16:00:00.000+0000 => 2020-04-02 00:00:00注：由于我的数据库timeZone是system，所以数据有时差（数据库中date=2020-04-02）{field: 'date', width: 220, title: '下单时间',...

原创 前端js，jQ获取后端（ModelAndView）的数据

一、前端js，jQ获取后端（ModelAndView）的数据1、将model中的值赋给hidden，然后Js获取隐藏域的值。后台的实现：@RequestMapping("/QEditorMod1") public String QEditorMod1(ModelMap model){ model.addAttribute("staff_name","cxx" ); ...

原创 kafka的ack机制

kafka的ack机制kafka的ack机制有3种：0，1，-1这3种会围绕持久性和延时性来比较0：最差的持久性，最低的延时性producer不等待broker同步完成的确认，就继续发送下一批消息，当服务器发生故障时，就很可能发生数据丢失。例如leader已经死亡，producer不知情，还会继续发送消息broker接收不到数据就会数据丢失1：较好的持久性，较低的延时性produce...

原创 虚拟机 网络不可达 连不上网 Destination Host Unreachable

虚拟机网络分两种类型：1，可以连外网，不可以连内网2，可以连内网，不可以连外网第一种的解决办法配置net连接第二种的解决办法输入命令：route add default gw 网关地址...

原创 大数据 相关组件 大全 简述

大数据相关组件大全简述本文提到的有：Hadoop，HDFS，MapReduce，Yarn，Zookeepe，Hive，HBase，Kafka，Storm，Sqoop，Flume，Scala，SparkHadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题。HADOOP通常是指一个更广泛的概念——HADOOP生态圈Hadoop =...

原创 Scala 的 sorted sortBy sortWith 用法 区别

Scala的sorted sortBy sortWith 用法 区别以 lst 为例： val lst = List(1,3,2,4,5)sorted： 自然排序println(lst.sorted) //1 2 3 4 5sortBy： 按照元素自身进行排序println(lst.sortBy(a=>a).reverse) //5 4 3 2 1sortWith： 自...

原创 Scala 柯里化 用法 原理 详解 应用场景 及干什么用的

Scala 柯里化概念柯里化(Currying)： 指的是将原来接受两个参数的函数变成新的接受一个参数的函数的过程。新的函数返回一个以原有第二个参数为参数的函数。用法非柯里化：//非柯里化函数定义def add(x:Int,y:Int)=x+y那么我们应用的时候，应该是这样用：add(1,2)柯里化//柯里化使用多个参数列表def add(x:Int)(y:Int) = x ...

原创 Scala函数中下划线的由来 "_"下划线的由来 参数类型推断

Scala函数中下划线的由来，"_"下划线的由来因为在Scala中参数类型是可以推断出来的，所以有了下面的简化演变详细演变步骤：实例演变：以 val list=List(1,2,3,4)为例...

原创 假设有单词数组： val arr = Array(“hello tom”,”hello jerry”,”hello hello”)需要对Array中的每个单词进行统计计数 Scala单词计数

Scala 对 Array中的每个单词进行统计计数假设有单词数组：val arr = Array(“hello tom”,”hello jerry”,”hello hello”)需要对Array中的每个单词进行统计计数。答案：val arr = Array("hello tom","hello jerry","hello hello")var result = arr.flatMap(...

转载 Scala中的下划线使用总结 Scala 中的 _ Scala _

Scala中的下划线使用总结1. 方法转化为函数例如：def m1(x:Int,y:Int)=x*y val f1=m1 _2. 集合中的每一个元素val list=List(1,2,3,4)val list1=list.map(_ * 10)3. 获取元组Tuple中的元素例如：例如： val t=("hadoop",3.14,100) t._1 t...

原创 hadoop集群 安装 部署 详解

hadoop集群 安装 部署软件安装等严格按照目录Root用户虚拟机环境准备克隆三台虚拟机修改主机名 /etc/sysconfig/network sync然后重启主机名分别为：hadoop101；hadoop102；hadoop103；修改克隆虚拟机的静态ip,分别为：IP分别为：192.168.1.101；192.168.1.102；192.168.1.103配置主机名...

原创 HBase安装 部署 步骤 详解

HBase安装 部署Zookeeper正常部署点击查看zookeeper安装部署首先保证Zookeeper集群的正常部署，并启动之：[root@hadoop101 zookeeper-3.4.10]$ bin/zkServer.sh start[root@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start[root@hadoop103 ...

原创 跳表(skip list)

跳表(skip list)跳表，是基于链表实现的一种类似“二分”的算法。它可以快速的实现增，删，改，查操作。该单链表中查找某个数据的时候需要的时间复杂度为O(n).我们给该单链表加一级索引，将会改善查询效率。当我们查找元素16的时候，单链表需要比较10次，而加过索引的两级链表只需要比较7次。当数据量增大到一定程度的时候，效率将会有显著的提升。如果我们再加多几级索引的话，效率将会进一步...

原创 Zoopeeker简介+原理+实操

Zookeeper概述概述ZooKeeper是一个开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。Zookeeper从设计模式角度来理解：是一个基于观察者模式...

原创 Zookeeper安装 部署 步骤 详解

Zookeeper安装分布式安装部署1．集群规划在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。2．解压安装1）解压zookeeper安装包到/opt/module/目录下[root@hadoop101 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/（2）在/op...

原创 使用Sqoop导入 导出 数据

Sqoop的简单使用导入数据在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。RDBMS到HDFS确定Mysql服务开启正常在Mysql中新建一张表并插入一些数据$ mysql -uroot -p123456mysql> create database company;...

原创 Sqoop 安装 步骤 详解

Sqoop安装安装Sqoop的前提是已经具备Java和Hadoop的环境。下载并解压最新版下载地址：http://mirrors.hust.edu.cn/apache/sqoop/上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中，如我的上传目录是：/opt/software解压sqoop安装包到指定目录$ tar -zxvf...

原创 Sqoop简介 原理

Sqoop简介Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，...

原创 Hive是啥？ 大数据技术之Hive

大数据技术之HiveHive基本概念Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive基于Hadoop来完成工作。Hive是基于Hadoop的一个数据仓库工具（E抽取T转换L加载），可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析（翻译工作）数据底层的实现...

原创 Hive企业级调优

Hive企业级调优Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more...

原创 Hive函数 Hive自定义函数

Hive自定义函数系统内置函数1．查看系统自带的函数hive> show functions;2．显示自带的函数的用法hive> desc function upper;3．详细显示自带的函数的用法hive> desc function extended upper;自定义函数1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定...

原创 Hive 数据仓库 查询语句 DQL

Hive的 DQL 查询语句查询语句语法：SELECT [ALL | DISTINCT] select_expr, select_expr, …FROM table_reference[WHERE where_condition][GROUP BY col_list][ORDER BY col_list][SORT BY col_list][LIMIT number]基本查询（s...

原创 Hive 数据操作 DML 数据导入 导出 上传 下载

Hive 的DML数据操作数据导入（上传）向表中装载数据（Load）1．语法hive> load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] into table student（1）load data:表示加载数据（2）local:表示从本地加载数据到hive表（复制）；否则从HDFS加载数据到...

原创 Hive 数据定义 创建 删除 修改 查询 DDL

Hive的 DDL数据定义创建数据库1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）hive (default)> create database db_h...

原创 Hive安装 部署

Hive安装Hive安装地址1．Hive官网地址http://hive.apache.org/2．文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3．下载地址http://archive.apache.org/dist/hive/4．github地址https://github.com/ap...

原创 Hive数据类型，Hive类型转换

Hive数据类型基本数据类型TINYINT 1byte有符号整数 SMALINT 2byte有符号整数INT 4byte有符号整数BIGINT 8byte有符号整数BOOLEAN 布尔类型FLOAT 单精度浮点数 DOUBLE 双精度浮点数 STRING 字符系列。可以指定字符集。可以使用单引号或者双引号。 TIMESTAMP 时间类型 BINARY 字节...

原创 数据仓库与数据库比较，Hive数据仓库与数据库比较

数据仓库（以Hive为例）和数据库比较Hive是一个翻译工具，将sql翻译为底层mr程序的，它不是数据库，只不过在表现形式上和数据库有很多类似而已（比如表、database、字段等）数据库可以用在 Online（在线） 的应用中，但是Hive 是为数据仓库而设计的数据库可以增删查改，数据仓库只可以增删查数据仓库支持很大规模的数据；数据库支持的数据规模较小数据仓库没有索引，数据库有数据仓...

原创 DataNode工作机制

DataNode工作机制1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删...

原创 NameNode和SecondaryNameNode工作机制

NameNode和SecondaryNameNode工作机制第一阶段：NameNode启动（1）第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）NameNode记录操作日志，更新滚动日志。（4）NameNode在内存中对数据进行增删改查。第二阶段：Seconda...

原创 HDFS的读写数据流

HDFS的数据流HDFS写数据流程1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2）NameNode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）NameNode返回3个datanode节点，分别为dn1、dn2、dn3。5）客户端通过...

原创 HDFS是啥？HDFS原理 HDFS详解

HDFS概念HDFS（Hadoop Distributed File System）： 它是一个分布式文件系统，用于存储文件，通过目录树来定位文件；HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。HDFS优缺点优点1）高容错性（1）数据自动保存多个副本。它通过增加副本的形式，提高容错性；（2）某一个副本丢失以后，它可以自动恢...

原创 Hadoop是啥？ hadoop生态系统

Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，hadoop通常是指一个更广泛的概念——hadoop生态圈创始人： Lucene–Doug CuttingHadoop组成点击详解1）Hadoop HDFS：（hadoop distribute file system ）一个高可...

原创 大数据是啥？大数据特点 大数据概念

大数据大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是海量，高增长率和多样性的信息资产。主要解决海量数据的存储和海量数据的分析计算问题。大数据特点简称：4V大量（volume）：数据量大高速（velocity）：高速处理，在如此海量的数据面前，处理数据的效率就是企业的生命多样性（variety）：数据多样性，包括结构化数据和...