- 博客(129)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 k8s---集群极速安装 && 安装k8s dashboard
一.简介Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态系统。Kubernetes 的服务、支持和工具广泛可用。1.1 Kubernetes不是什么 Kubernetes 不是传统的、包罗万象的 PaaS（平台即服务）系统。 Kubernetes 在容器级别而不是在硬件级别运行 它提供了 PaaS 产品共有的一些普遍适用的功能， 例如部署、扩展、负载均衡、日
2021-04-26 15:03:40
2009
4
原创 集群健康监控---zabbix的安装与使用
1.Zabbix入门1.1Zabbix概述Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，Zabbix提供了出色的报告和数据可视化功能。1.2Zabbix 基础架构2. Zabbix部署2.1 zabbix集群部署 进程 alihadoop101节点 alihadoop102节点 ..
2021-01-14 22:04:54
492
原创 即席查询工具---Presto的安装与使用（hive数据源）
1.Presto简介1.1 Presto概念Presto是一个开源的分布式的sql查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是Mysql或者oracle的代替品，也不能处理在线事务（OLTP）1.2 Presto架构1.3 Presto优缺点1.4 Presto、Impala性能比较https://blog.csdn.net/u012551524/article/details/791
2021-01-04 13:08:06
2696
原创 记一下-JPS不显示进程，但是进程还存在的问题
问题原因由于我用的阿里云，然后在三台服务器上搭建了大数据的集群。因为平时测试要用到一些端口，所以开放了许许多多的端口。这样一来，无孔不入的挖矿程序就天天进来了，是不是就把我的CPU就给顶爆了。害，没办法，我也不懂。所以每次我都是手动杀死相对应的挖矿进程。今天这种情况又发生了，但是这次不一样的是，jps显示所有当前进程为process information unavailable 的状态。然后我搜了一下，我就把/tmp目录下所有的文件给删了。再然后就出现了jps显示不出任何进程，但是ES、hdfs、..
2020-12-08 19:55:39
2452
3
原创 BI分析工具-SuperSet的安装与使用（MySQL数据的报表）
1.Superset概述 Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。2.Superset应用场景 由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。3.SuperSet的安装和使用3.1 安装python环境Superset是由Python语言编写...
2020-12-03 22:31:45
998
原创 hive中常用的函数
一.日期函数1.unix_timestamp（获取时间戳：秒）获取当前时间戳hive> select unix_timestamp();OK1605712071获取指定日期时间戳hive> select unix_timestamp('2020-01-01 00:00:00');OK1577836800获取指定格式的时间戳hive> select unix_timestamp('20200101 00:00:00','yyyyMMdd HH:mm
2020-11-19 00:02:26
962
原创 排坑-FAILED: UDFArgumentException The function DECIMAL takes only primitive types
是这样的，我在dataGrap（连接了hive）写了脚本，脚本是这样的insert overwrite table dwd_fact_order_detail partition (dt='$do_date')select t1.id, t1.order_id, t1.user_id, t1.sku_id, t1.sku_name, t1.order_price, t1.sku_num, t
2020-11-12 16:50:36
2679
原创 排坑--阿里云SparkSQL在本地IDEA中连接Hive时，连接不上NameNode时。
在idea中运行SparkSQL，要连接阿里云部署的Hive。开一个9866端口。除了把hdfs-site.xml,core-site.xmk,hive-site.xml放进去之后，还有修改hdfs-site.xml中的文件 <property> <name>dfs.client.use.datanode.hostname</name> <value>true</value> </property
2020-11-04 10:42:21
367
原创 递归实现二叉树的前 中 后序遍历和查找（JAVA实现）
这里先说一下一些二叉树的性质(和前中后序遍历无关，只是记录一下)1.二叉树第i层上的结点数最多为2^i（层次：规定树中的根节点的层次为0，其他节点的层次是其双亲节点的层次数+1）2.深度为h（h>=1）的二叉树中最多有(2^h)-1个节点（深度：树的深度是指树中所有结点的层次数的最大值+1）3.对于任何一颗二叉树，若叶结点的个数为n0，度为2的结点个数为n2，则有n0 = n2+1;下面是一棵二叉树，要求前中后序遍历。1.前序遍历: 先输出父节点，再遍历左子树和右子树.
2020-09-17 19:07:35
559
原创 逆波兰式（后缀表达式）的计算 & 中缀表达式转后缀表达式（逆波兰式）【java实现】
一.逆波兰式（后缀表达式）计算思路：* 1.遍历逆波兰式的集合* 2.当遍历的元素为数字时，入栈 stack* 3.当遍历的元素为运算符时，stack栈弹出两个数，num2 num1,并用该运算符计算着两个数的值* 4.把计算结果再次压栈* 5.最后栈中的元素就是后缀表达式的结果代码传入的 逆波兰表达式为：4 5 * 8 - 60 + 8 2 / +逆波兰表达式转化为逆波兰集合/** * 后缀表达式转为集合 * @param express.
2020-09-03 17:18:10
1349
1
原创 数组实现栈，并计算表达式（中缀表达式）的结果（java实现）
这里主要是计算表达式的结果，比如 “2+3*3-2”，输入一个表达式，计算出最后的结果.用栈实现的思路如下：1.遍历这个表达式，通过一个变量index记录索引值2.如果发现遍历出来的字符为一个数字，则直接入栈3.如果发现遍历出来的字符为一个运算符，则分为以下情况 3.1 若运算符栈为空，则直接入栈； 3.2 如果运算符栈有运算符，则进行比较。如果当前运算符的优先级小于等于栈中的运算符的优先级， 就需要从数栈中pop出两个数字，从符号栈中pop出一个运算符...
2020-09-01 20:06:11
258
原创 环形链表，Josephu 问题（java实现）
Josephu 问题 Josephu 问题为：设编号为 1，2，… n 的 n 个人围坐一圈，约定编号为 k（1<=k<=n）的人从 1 开始报数，数到m 的那个人出列，它的下一位又从 1 开始报数，数到 m 的那个人又出列，依次类推，直到所有人出列为止，由此产生一个出队编号的序列。创建一个孩子对象/** * 定义一个小孩儿对象 */class Boy{ private int no; private Boy nex...
2020-08-27 16:53:12
165
原创 双向链表的增删改查（java实现）
创建节点对象// 定义节点，每个heroNode对象都是一个节点class HeroNode2 { int no; String name; String nickName; HeroNode2 next; HeroNode2 pre; public HeroNode2(int no, String name, String nickName) { this.no = no; this.nickName = nick
2020-08-10 16:50:40
781
原创 单链表的增删改查，另加腾讯百度新浪面试题（java实现）
定义一个节点对象// 定义节点，每个heroNode对象都是一个节点class HeroNode { int no; String name; String nickName; HeroNode next; public HeroNode(int no, String name, String nickName) { this.no = no; this.nickName = nickName; this.n
2020-08-08 10:59:32
206
原创 数组模拟队列和循环队列（java实现）
一.普通队列 首先先用数组模拟一下简单的队列。对于队列，有4个元素，一个头head，一个尾tail，一个队列的最大容量maxSize，还有一个数组int[] 模拟队列。队列的主要操作有1.向队列中添加数据；2.展示整个队列中的数据；3.取出队列的第一个数据；4.得到队列的第一个数据，不取出，只展示；5.判断队列是否为空（head == tail）；6.判断队列是否已满（tail == maxSize -1）。因为队列的输出、输入是分别从前后端来处理，因此需要两个变量 head及 tail...
2020-08-05 17:24:47
214
原创 filebeat、kafka、elk搭建日志收集系统
本次搭建日志收集系统是个小demo。用到的工具有链接：https://pan.baidu.com/s/1m_If2crjUtMTqRKuKrG9gw提取码：n9oi ，工具和代码工程都在都在这里。日志收集的流程如下。这里只是实现了到kibana一.配置java项目配置文件这里用的日志为log4j2。maven依赖<dependency> <groupId>org.springframework.boot</groupId> <..
2020-07-04 16:29:46
610
原创 RabbitMQ从安装开始...（持续更新中）
rabbitMQ安装需要的文件，链接：https://pan.baidu.com/s/1so8ta3CP1zI6JNO4zt2sNw 提取码：vi47一.安装rabbitMQ1.安装erlang环境rpm -ivh erlang-18.3-1.el7.centos.x86_64.rpm2.安装socat若不安装socat，直接安装rabbit-server，则会出现安装socatrpm -ivh socat-1.7.3.2-1.1.el7.x86_64.rpm --fo.
2020-06-12 13:13:19
1100
1
原创 Java实现MapRecuce的WordCount案例
MapRecuce是hadoop中计算的阶段，MapRecuce又分为map阶段和reduce阶段，map进行切割，reduce进行计算。下面为Java实现MapReduce的wordcount的案例pom.xml文件<dependency> <groupId>org.apache.hadoop</groupId> <artifactI...
2019-04-29 08:37:59
294
原创 SpringCloud项目整合JSP，打成jar包出现的问题
因为最近要为公司完成一个小工具，需要用到简单的页面，所以就用SpringCloud项目去整合JSP去完成，但是出现了许许多多的问题，打成jar包之后会读取不到配置文件，或者读取不到JSP页面，就一直访问不到页面。下面把修改完成的配置放上。首先在pom文件中加入支持jsp的依赖。<dependency> <groupId>org.apache.tomcat.emb...
2018-08-08 17:06:16
1701
转载 mysql获取当天,昨天,本周,本月,上周,上月的起始时间
-- 今天SELECT DATE_FORMAT(NOW(),'%Y-%m-%d 00:00:00') AS '今天开始';SELECT DATE_FORMAT(NOW(),'%Y-%m-%d 23:59:59') AS '今天结束';-- 昨天SELECT DATE_FORMAT( DATE_SUB(CURDATE(), INTERVAL 1 DAY), '%Y-%m-%d 00:00:00') ...
2018-04-16 09:12:53
3187
原创 SpringCloud版本引发的type=Not Found, status=404
我要搞毕设了。我打算用SpringCloud架构来搞。因为这个是分布式的，可以写各个微服务。所以决定用这套架构来搞定。首先第一步，搭建这个架构就出现了第一个问题。第一个就是在pom文件中配置了redis的依赖，但是application.yml中没有配置redis的配置，所以就会出现问题了。这是小问题了，第一次从0搭建环境，难免遇见各种各样的问题。最让我爆炸的是404问题。是怎样的问题呢？ ...
2018-04-04 09:13:36
4236
转载 消息队列使用的四种场景介绍及代码的实现
消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景2.1异步处理场景说明：用户注册后，需要发注册邮件和注...
2018-03-28 15:37:18
6474
1
原创 ZooKeeper的轮询算法（简单的代码）
package com.an.zookeeper.testzookeeper;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.Watche
2018-01-12 16:45:57
1393
原创 分布式环境的简单搭建
需要的工具：Nginx、tomcat、memcached。 Nginx：链接：http://pan.baidu.com/s/1sl5HjXz 密码：duk8tomcat：链接：http://pan.baidu.com/s/1dEQijFN 密码：h3bamemcached：链接：http://pan.baidu.com/s/1nvoUwIX 密码：jl48memcach
2017-11-19 17:06:54
5453
原创 LeetCode 198 House Robber(简单的动态规划)
You are a professional robber planning to rob houses along a street. Each house has a certain amount of money stashed, the only constraint stopping you from robbing each of them is that adjacent house
2017-11-17 21:39:14
223
转载 getContextPath、getServletPath、getRequestURI的区别
假定你的工程名称为projects,你在浏览器中输入请求路径：http://127.0.0.1:8080/projects/pages/newForm.jsp则执行下面向行代码后打印出如下结果：1、 System.out.println(request.getContextPath());打印结果：/projects 2、System.out.println(reque
2017-11-16 15:40:21
151
原创 Java工程的静态资源不能显示的问题
首先，关于静态资源不能访问，开始原以为无非就是在spring-mvc的配置文件里面加入 和，其中就是处理静态资源的。但是今天，我的项目出现了所有页面的静态资源都不能访问的情况。首先先看看web.xml中的一段配置 springmvc org.springframework.web.servlet.DispatcherServlet contextCon
2017-11-15 18:12:43
1223
原创 算法初步--求最大子数组和【暴力|优化枚举|贪心 】求解
今天要把算法联系提到日程上了，就从最简单的算法开始学习。介绍一下求解的过程。首先问题是这样的，给定数组a[1…n]，求最大子数组和，即找出1题意：int[] arr = {-2,-1,-3,4,-1,2,1,-5,4}; 比如有这样一个数组，求这个数组的子数组加起来的值最大。这里给出三种解法，时间复杂度分别为 O(N^3) O(N^2) O(N)，由简单的思路开始，第一种解法，暴力，全部枚
2017-11-05 15:45:10
1001
原创 SSM整合的一些配置(基于Maven工程,逆向工程，Restful风格)
自己在学习SSM过程中，一直没有整理过关于如何整个整合配置的，这次基于Maven的SSM配置整理一遍。1.首先，创建一个Maven工程。在创建Maven工程开始时，一定要把圈住的对号打上，要不可能会出现错误。2.之后会Next，会出现如下，Group Id和Artifact Id就是Maven的pom.XML配置文件的坐标。其中Artifact Id也是工程的名字，Vers
2017-10-30 19:12:42
2117
1
原创 用Kaptcha第三方包做验证码验证
Kaptcha是google提供的一个第三方的包，可以做验证码验证。他是运行原理把验证码存放到session域中，当用到的时候，从session域中取出来，然后与输入的验证码进行对比，就可以了。接下来，来看代码。首先，先导入kaptcha-2.3.2.jar包。之后再web.xml中配置验证码需要的信息。我先列举一下都可以配置什么信息。kaptcha.border验证码图片的边框，可以
2017-10-12 09:17:26
2158
1
原创 关于表单的重复提交（3种）
同一个表单、同样的数据，如果多次提交，就会给服务器造成不必要的压力，同时也会向数据库中保存垃圾数据。表单的重复提交分为三种一.在转发的情况下，表单提交成功后，反复刷新成功页面，就会导致表单的重复提交。解决方案：我们改用重定向response.sendRedirect()的方式进入另一个页面。放入request域中的数据改为放在session域中，这样就不会出现表单的重复提交.二.在网速
2017-09-29 19:46:56
4140
原创 如何持久化会话级别的Session
因为session是会话级别的，所以当把对象放入到session 中时，只在当前对话窗口中的session中存在。当当前窗口关闭时，session就会没了。当我们想要持久化这个session时，我们需要用到cooik中的JSESSIONID。我们先了解一下session的运行机制.1.第一次向服务器发送请求时在服务器端创建Session对象，该对象有一个唯一的ID2.在创建Session对
2017-09-29 19:19:17
4573
转载 jquery的几种异步请求，ajax（转载）
地址：http://blog.csdn.net/a5489888/article/details/8523316
2017-09-19 22:54:30
523
原创 向Mysql数据库插入五万条记录（批处理）
当向数据库中添加大量的数据时，这是需要用到批处理。不用批处理时，插入的效率特别的慢。这里用到了批处理和预编译sql两个联合，这样的效率会更高package com.an.jdbc.exer;import java.sql.Connection;import java.sql.PreparedStatement;import org.junit.Test;import com
2017-09-12 19:33:45
8359
2
原创 从MySQL数据库读取图片和向数据库插入图片
MySQL数据库中有一个数据类型为Blob类型，此类型为二进制文件类型。下面为从MySQL数据库读取图片和向数据库插入图片的代码，一些的数据库连接和JDBC代码就省去了。package com.an.jdbc.bean;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.In
2017-09-12 19:30:29
11652
2
原创 MySQL中的存储过程和函数
这几天学了存储过程和函数，总结的不是太完整，先记下来。#存储过程/*含义：一组经过预先编译的sql语句的集合好处：1、提高了sql语句的重用性，减少了开发程序员的压力2、提高了效率3、减少了传输次数分类：1、无返回无参2、仅仅带in类型，无返回有参3、仅仅带out类型，有返回无参4、既带in又带out，有返回有参5、带inout，
2017-09-11 20:24:44
409
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人