- 博客(66)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 电商日志项目(一)
浏览器信息分析以及地域信息分析其实就是在用户基本信息分析的基础上添加浏览器和地域这个维度信息，其中浏览器信息我们可以通过浏览器的window.navigator.userAgent来进行分析，地域信息可以通过nginx服务器来收集用户的ip地址来进行分析，也就是说pageview事件也可以满足这两个模块的分析。本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。
2024-04-30 14:55:33
1097
2
原创 数据仓库Data Warehouse
数据抽取确定数据源，需要确定从哪些源系统进行数据抽取定义数据接口，对每个源文件及系统的每个字段进行详细说明确定数据抽取的方法：是主动抽取还是由源系统推送？是增量抽取还是全量抽取？是按照每日抽取还是按照每月抽取？数据清洗主要将不完整数据、错误数据、重复数据进行处理数据转换空值处理：可捕获字段空值，进行加载或替换为其他含义数据，或数据分流问题库数据标准：统一元数据、统一标准字段、统一字段类型定义数据拆分：依据业务需求做数据拆分，如身份证号，拆分区划、出生日期、性别等。
2024-04-30 14:45:52
1742
原创 state 08S01 com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure
他么的折腾了三个小时，才搞明白。
2023-07-06 00:38:32
362
原创 SpringCloud-Gateway
MDB:ribbon:@Override// 各种逻辑~~~~@Override@Bean.build();@Component@Override// 非法请求System.out.println("不要~");//!
2023-05-13 11:41:50
510
原创 SpringSecurity-从入门到精通
我们还希望在认证失败或者是授权失败的情况下也能和我们的接口一样返回相同结构的json，这样可以让前端能对响应进行统一的处理。要实现这个功能我们需要知道SpringSecurity的异常处理机制。 在SpringSecurity中，如果我们在认证或者授权的过程中出现了异常会被ExceptionTranslationFilter捕获到。在ExceptionTranslationFilter中会去判断是认证失败还是授权失败出现的异常。
2023-05-13 10:51:09
581
原创 Nginx
1. Nginx简介Nginx是一款轻量级的Web 服务器/反向代理服务器http://nginx.org/http://nginx.org/en/download.html占有内存少，并发能力强官方测试nginx能够支撑5万并发链接，并且CPU、内存等资源消耗却非常低，运行非常稳定。Tengine淘宝基于Nginx研发的web服务器http://tengine.taobao.org/http://tengine.taobao.org/book/2. 使用场景2.1. 高并发场景
2022-04-28 10:10:05
60
原创 Shell编程
1. Shell编程概述1.1. Shell名词解释KernelLinux内核主要是为了和硬件打交道Shell命令解释器(command interpreter)Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。shell两大主流：sh：Bourne shell（sh） ,Solaris,hpu.
2022-04-28 09:46:43
41
原创 Linux
1. 计算机硬件软件体系1.1. 冯 诺依曼体系结构计算机处理的数据和指令一律用二进制数表示顺序执行程序计算机硬件由运算器、控制器、存储器、输入设备和输出设备五大部分组成1.2. 计算机硬件组成输入设备输入设备用来将人们熟悉的信息形式转换为机器能够识别的信息形式常见的有键盘，鼠标等输出设备输出设备可以将机器运算结果转换为人们熟悉的信息形式打印机输出，显示器输出等存储器存储器用来存放数据和程序RAM(random access memory）即随机存储
2022-04-27 17:29:04
536
原创 Kafka
Kafka1. 异步通信原理1.1. 观察者模式观察者模式（Observer），又叫发布-订阅模式（Publish/Subscribe）定义对象间一种一对多的依赖关系，使得每当一个对象改变状态，则所有依赖于它的对象都会得到通知并自动更新。一个对象（目标对象）的状态发生改变，所有的依赖对象（观察者对象）都将得到通知。现实生活中的应用场景京东到货通知《鸡毛信》1.2. 生产者消费者模式传统模式生产者直接将消息传递给指定的消费者耦合性特别高，当生产者或者消费者发生
2022-04-18 10:37:17
507
原创 Hadoop-Phoenix
Apache Phoenix 5.1.01. 官网介绍官网 ： http://phoenix.apache.org/Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。Apache Phoenix是使用Apac
2022-03-29 10:44:21
44
原创 Hadoop-HBase
HBase 2.2.51. HBase介绍BigTale:http://blog.csdn.net/accesine960/archive/2006/02/09/595628.aspx1.1. HBase简介Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。利用Hadoop HDFS作为其文件存储系统,利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）1.2. HBase优点容量大
2022-03-28 17:13:35
23
原创 Hadoop-DBeaver
1. DBeaver1.1. 介绍DBeaver是一种通用数据库管理工具，适用于需要以专业方式使用数据的每个人；适用于开发人员，数据库管理员，分析师和所有需要使用数据库的人员的免费的多平台数据库工具使用DBeaver，您可以像在常规电子表格中一样处理数据，基于来自不同数据存储的记录创建分析报告，并以适当的格式导出信息。对于高级数据库用户，DBeaver建议使用功能强大的SQL编辑器，大量的管理功能，数据和模式迁移的能力，监视数据库连接会话等。开箱即用的DBeaver支持80多个数据库。支持所有流行
2022-03-27 00:46:31
115
原创 Hadoop-Hive
Hive 3.1.2Hive是基于 Hadoop 的一个【数据仓库工具】，可以将结构化和半结构化的数据文件映射为一张数据库表，并提供简单的 sql 查询功能1. Hive的基本概念1.1. Hive简介Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步可以说hive就是一个MapReduce客户端思考：计算文件user.txt中张三出现几次，使用mapreduc
2022-03-22 11:16:45
28
原创 Hadoop-Mapreduce
Hadoop-Mapreduce1. 扑克牌问题假如你有2000副四大名著主题扑克牌。现在将他们全部混合在一起，然后从中随机抽出一部分丢掉，现在要求你统计出每种名著分别有多少张？统计扑克牌人数不限（20人）2. MapReduce设计理念map–>映射(key value)reduce–>归纳mapreduce必须构建在hdfs之上一种大数据离线计算框架在线：实时数据处理离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果mapreduce不会
2022-03-15 15:47:46
20
原创 ERROR: https://192.168.8.30:442/ping is not accessible (Failed to connect to 192.168.8.30 port 442:
ERROR: https://192.168.8.30:442/ping is not accessible (Failed to connect to 192.168.8.30 port 442: Connection refused)
2022-03-07 16:42:09
1666
原创 k8s 启动/停止 Master/Node 节点
11.5.1 启动Master节点service keepalived startservice etcd startservice kube-scheduler startservice kube-controller-manager startservice kube-apiserver restartkubectl get cs11.5.2 启动Node节点service flanneld startservice docker startservice kubelet sta
2021-12-16 11:28:02
6102
原创 Java 浅拷贝和深拷贝的理解和实现方式
概述Java中的对象拷贝(Object Copy)指的是将一个对象的所有属性（成员变量）拷贝到另一个有着相同类类型的对象中去。举例说明：比如，对象A和对象B都属于类S，具有属性a和b。那么对对象A进行拷贝操作赋值给对象B就是：B.a=A.a; B.b=A.b;在程序中拷贝对象是很常见的，主要是为了在新的上下文环境中复用现有对象的部分或全部 数据。Java中的对象拷贝主要分为：浅拷贝(Shallow Copy)、深拷贝(Deep Copy)。先介绍一点铺垫知识：Java中的数据类型分为基本数据类型
2021-11-29 16:57:16
314
原创 Rancher 部署 filebeat
Rancher On kibana概述：一、下载kibana镜像二、创建挂载目录与映射配置文件2.1 创建配置文件2.2 映射配置文件概述：Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，
2021-11-19 15:53:32
1659
原创 Rancher 部署 kibana
Rancher On kibana概述：主要功能Elasticsearch无缝之集成整合你的数据复杂数据分析让更多团队成员受益接口灵活，分享更容易配置简单可视化多数据源简单数据导出与Elasticsearch REST API实现可视化交互一、下载kibana镜像二、创建挂载目录与映射配置文件2.1 创建配置文件2.2 配置启动命令2.3 映射配置文件概述：Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kiba
2021-11-19 10:46:06
914
原创 Rancher 部署 logstash
Rancher On logstash一、下载logstash镜像二、创建挂载目录与映射配置文件2.1 创建配置文件2.2 配置启动命令2.3 映射配置文件概述：logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索
2021-11-18 16:10:14
1254
原创 centos7 部署 harbor
一、harbor1 部署dockerCFIT_33.host安装docker 和 Rancher安装docker一样2 下载解压harbor下载地址: GitHub.harbor2.3.4版本下载地址: 2.3.4mkdir -p /opt/srccd /opt/srcwget https://github.com/goharbor/harbor/releases/tag/v2.3.4/harbor-offline-installer-v2.3.4.tgztar xf harbor
2021-11-12 18:52:33
1222
原创 Goole Chrome 谷歌浏览器无法打开设置、闪退、崩溃
Goole Chrome 谷歌浏览器无法打开设置、闪退最近谷歌浏览器突然抽风，双击无法打开；任务管理器查看进程存在，但是直接闪退。1.首先解决无法打开的问题：多次双击直到浏览器打开为止2.解决谷歌浏览器无法打开设置和无法正常访问网页的问题2.1 网络上的解决方法（本人使用后并没有解决问题）这里查阅了很多资料，大部分都是开启沙箱模式，大家可以尝试一下；我本人使用该方法并没有解决实际问题；下面附上该方法的截图2.2 通过重命名谷歌浏览器执行文件名称如上即可，如果还未解决成功请先尝试重装
2021-10-03 21:09:00
19930
12
原创 Jenkins SSH: Transferred 0 file(s)
SSH: Transferred 0 file(s)重点是第三步和第一部拼接起来的路径是文件的全路径！！！
2021-09-26 14:43:15
1605
原创 CentOS系统的FTP匿名访问根目录配置
vi /etc/vsftpd/vsftpd.conf1、设置 anonymous_enable=YES，开启匿名用户访问2、添加访问根路径#开启匿名访问anonymous_enable=YES#添加访问根路径anon_root=/opt/deploy/logs
2021-09-02 15:19:24
828
1
原创 股票-技术分析入门
@TOC学习技术分析的最佳方式除了图表模式和指标，技术分析还涉及广泛的主题研究，例如行为经济学和风险管理。技术分析背后的目标通常是识别交易机会，并使用纪律严明、基于规则的方法来利用这些机会，最大限度地提高长期风险调整后的回报。在本文中，我们将着眼于初学者学习技术分析而不必在市场上冒险的一些最佳方法。关键要点技术分析是对图表和模式的研究，但也可以包括行为经济学和风险管理的方面。新手交易者可以通过书籍和在线课程来了解技术分析。许多在线交易课程承诺取得惊人的结果并使用高压销售策略，但未能实现承诺的结
2021-08-02 11:30:54
202
原创 ERROR: Failed to parse POMjava. io. IOException: Cannot run program “java“
ERROR: Failed to parse POMjava. io. IOException: Cannot run program “java” (in directory “/ienkins/data/workspace/T-maven-upload” ) error=2,没有那个文件或目录找了半天。。。。。发现是没有选JDK。。
2021-07-23 18:35:16
649
原创 Linux安装Tomcat
一、安装准备工作1、下载Linux版本的tomca根据自己的需求下载相应的版本，我下载的是Tomcat8.0FOUZE 2、检查当前Linux系统中是否安装了JDK，java -version 如果显示jdk版本号，则证明已经安装，没有安装，请参考下面地址进行安装：Linux系统 jdk git nodejs maven 等环境 安装手册...
2021-07-21 17:39:24
88
原创 Java爬虫技术(web-spider )
spider 爬虫技术学习手册一、网络爬虫介绍二 网络爬虫入门2.1 环境准备2.2 一个简单的入门程序三、HttpClient 爬取数据四、Jsoup 解析数据五、爬虫案例一、网络爬虫介绍引言：在大数据时代，信息的采集是一项重要的工作，而互联网中的数据是海量的，如果单靠人力进行采集，不仅低效繁琐，搜索的成本也会提高。如何自动高效的获取互联网中我们感兴趣的信息，使其为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。网络爬虫（web crawler、web spider …）也叫做网络
2021-07-15 11:04:05
132
原创 Rancher 部署 elasticsearch
Rancher On elasticsearch一、下载elasticsearch镜像二、创建挂载目录与映射配置文件2.1 创建挂载目录2.2创建配置文件2.3映射配置文件2.4配置启动命令概述：Elasticsearch是当前最流行的大数据集分析平台之一，对于日志聚合、商业智能以及机器学习等各类用例而言，Elasticsearch都是一个很有用的工具。Elasticsearch基于 REST的简单的API，使得创建索引、添加数据和进行复杂的查询变得非常简单，这也是它大受欢迎的一大原因。但是，在你开始构
2021-07-07 17:46:07
1285
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人