- 博客(130)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Go语言的下载安装
地址：https://golang.google.cn/dl/下载windows版本的SDK：建议使用迅雷下载，网页下载速度太慢：下载完成后直接安装即可，然后在cmd中输入 go version出现版本号为成功过
2021-05-28 13:41:07
328
转载 org.apache.commons.logging.LogFactory报错解决
转载：https://blog.csdn.net/qq_41306364/article/details/102625758
2021-03-01 17:24:48
661
原创 【解决】idea中右键没有javaclass文件以及packge
话不多说，上解决办法：问题描述idea中右键新建文件时候没有出现javaclass文件以及package解决办法按照图示来第一步：找到配置文件点完之后你会发现java文件变蓝色了~最后别忘记点击 OK！！！success！！...
2021-03-01 14:56:38
522
1
原创 Grafana+Prometheus的详解以及使用
文章：https://www.zhihu.com/people/jecky-71/posts
2021-02-22 18:26:49
1634
原创 Prometheus下的alertmanager微信报警配置及本地时间配置，解决UTC改本地时间
万万没想到，配个微信报警，花了我一天的时间，以下可以直接粘贴使用，亲测可用，都是一步一步摸索的结晶，有用请点个赞吧！转载请备注出处解释以下为什么不使用grafana配和预警，因为grafana比较局限，而且在使用模板的情况下是不允许进行Alert预警的，所以最后我才直接采用了Prometheus下的alertmanager报警，放弃了grafana。目录Prometheus下的alertmanager报警配置及本地时间配置1.企业微信账号注册2.alertmanager的下载配置3. 对aler.
2021-01-26 18:27:21
6825
6
原创 【解决】grafana密码出现错误无法登录，强制进行密码修改
今天无论怎么登录Grafana都无法进去，都报无效的账户和密码，命名输入的都是正确的，对于这种情况我只能重置密码了第一步：搜索grafana的库文件，这里保存的是密码账号： find / -name "grafana.db"第二步：使用sqlite3加载数据库文件sqlite3 /var/lib/grafana/grafana.db第三步：把更新语句复制粘贴进去 update user set password = '59acf18b94d7eb0694c61e60ce44c11
2021-01-22 11:47:57
7260
原创 ELK成功检测数据并存储ES案例
LogstashLogstash是一个开源数据收集引擎，具有实时管道功能，Logstash可以动态的的将不通的数据源统一起来，并将标准化到所选的存储中。集中、转换和存储数据Logstash是一个开源的服务器端数据处理管道，可以从多个数据源获取数据，并对其进行转换，然后将其发送到存储位置。输入采集各种样式、大小和来源的数据数据往往以各种各样的形式，或分散或集中的存在于很多系统中。Logstash支持各种输入的选择，可以再同一时间从众多常用来源来捕捉事件。能过以连续的流式传输方式，轻松地从您的日志
2021-01-06 16:38:59
511
原创 【ELK前期准备】ES的部署实施
【ELK前期准备】ES的快速部署学习ES概述Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。查询 ： Elasticsearch 允许执行和合并多种类型的搜索 — 结构化、非结构化、地理位置、度量指标 — 搜索方式随心而变。分析 ： 找到与查询最匹配的十个文档是一回事。但是如果面对的是十亿行日志，又该如何解读呢？Elasticsearch 聚合让您能够从大处着眼，探索数据的趋势和模式。速度 ： Elasticsearch 很快。一般在大数据环境下，ES往往是
2021-01-06 16:30:10
157
原创 启动ES报错：failed to obtain node locks......
出现这样的原因是：第一次启动就失败了，虽然启动失败，但是后台还是有ES程序再走，所以直接杀死后台es进行就可以了！步骤：ps -ef|grep elastickill -9 xxxx注意：杀死最长的进程号即可！重新启动ES成功！...
2021-01-06 14:47:47
2912
原创 Idea中创建项目没有spring模块
File=>Setting=>Plugins=>搜索Spring,安装Spring Assistant=>重启IDEA
2021-01-04 13:17:52
3711
9
原创 skywalking的配置使用
头一次接触skywalking，不知道怎么玩，现在将配置贴出来下载下载地址: http://skywalking.apache.org/downloads/安装说明：因为测试环境中本来就安装了ES，skywalking也支持ES，这里不演示MySQL了，不过后面会有Mysql演示的连接Mysql版本的安装连接第一步 解压下载后上传到服务器上，解压tar -zxvf apache-skywalking-apm-8.3.0.tar.gz 第二步 修改配置文件这里需要修改三个配置文件.
2020-12-28 17:53:36
2726
原创 Granfan安装Wordmap进行展示
背景：在granfan上添加世界地图的操作步骤，网上的资料很少，公司准备做一个大屏展示，索性就是整一下试试granfan可不可以满足需求。我就是试试，没说一定成功啊！准备工作前提服务器上安装好了granfan，以及普罗米修斯。开始安装Worldmap在granfan上安装Worldmap插件，安装语句如下：grafana-cli plugins install grafana-worldmap-panel结果如图：配置完成后重启granfan：service grafana-se..
2020-12-17 19:42:32
1425
原创 怎么在Linux下执行sql文件
第一步 ： 登录数据库 mysql -u root -p第二步 ：选择数据库 use databses第三步 ：执行sql文件 source /路径/xxx.sql
2020-12-14 11:53:08
3080
原创 sqoop简单小案例：mysql导入hive表，建立lzo索引
Sqoop简单案例将表导入到hive中，必须具备的条件：需要 sql语句需要 $CONDITIONS需要 target-dirsudo -u hive sqoop import \--connect jdbc:mysql://hadoop103:3306/gmall \--username root \--password 123456 \--target-dir /oridata/db/activity_order/2020-11-25 \--query 'select * fro
2020-11-25 11:37:36
352
原创 6、数据仓库电商项目（尚硅谷第二版） ADS层
6、数据仓库电商项目 ADS层上一章节：5、数据仓库电商项目 DWT层本章需求 ADS层数据展示 注：按照需求自己要敲一遍，可以百度，但切记不要 重度 粘贴复制。 前面做的所有准备都是为了在ADS层进行展现，ADS层相对就好写一点了 后买的自动任务流程，比如阿兹卡班，ooize，会在后面更
2020-11-24 17:04:02
617
原创 5、数据仓库电商项目（尚硅谷第二版） DWT层
5、数据仓库电商项目 DWT层本章需求 DWT累积性全量表建模 注：按照需求自己要敲一遍，可以百度，但切记不要 重度 粘贴复制。 越到后面越难，各种表间关系和聚合，现在没时间仔细写，先把一些文档复制上来，后面慢慢补充~DWT层的概括DWT层将DWS层每日聚合的数据进行积累，DWT层不是分区表，是一个累积型全量表，并且数据来源与DWS层。累积性全量表：查询要改动的旧数据
2020-11-24 16:22:06
768
1
原创 4、数据仓库电商项目（尚硅谷第二版）DWS层
4、数据仓库电商项目 DWS层本章需求 1. DWS层用户行为数据统计 2. DWS层业务行为数据统计 注：按照需求自己要敲一遍，可以百度，但切记不要 重度 粘贴复制。 上一章说完了DWD层的分解，是比较有难度的，由于时间限制，我写的比较仓促，以后有时间会慢慢的补上。DWS层的概括&nb
2020-11-24 15:25:30
704
原创 3、数据仓库电商项目（尚硅谷第二版）DWD下
3、数据仓库电商项目（尚硅谷第二版）DWD下本章需求 1. 用户行为数据启动表展开，实现DWD层 2. 用户行为数据时间表展开，实现DWD层 3.业务数据的展开，实现DWD层 注：按照需求自己要敲一遍，可以百度，但切记不要 重度 粘贴
2020-11-23 16:24:48
637
原创 3、数据仓库电商项目（尚硅谷第二版）DWD上
第三章 DWD层！数仓建模本章需求 1. 用户行为数据启动表展开，实现DWD层 2. 用户行为数据时间表展开，实现DWD层 3.业务数据的展开，实现DWD层 注：按照需求自己要敲一遍，可以百度，但切记不要 重度 粘贴复制。启动日志
2020-11-23 13:32:59
822
1
原创 hadoop复制文件下面所有子文件
Hadoop 复制所有文件 sudo -u hdfs hadoop fs -cp /warehouse/gamll/ods /warehouse/gmall/ods不要这样写：sudo -u hdfs hadoop fs -cp -p /warehouse/gamll/ods/* /warehouse/gmall/ods/*加了 /* 会报错，不加就代表将所有的文件复制过去~...
2020-11-21 11:19:41
390
原创 2、数据仓库电商项目（尚硅谷第二版）ODS层
第二章 建模！ODS层数据分析本章需求： 1. 对用户行为数据，业务数据进行建模 2. 建立ODS层，将业务数据及行为数据按照表的形式存入HDFS中 注：按照需求自己要敲一遍，可以百度，但切记不要粘贴复制。什么是建模？ 目前数据处理可以分为两大类：联机事务处理OLTP(
2020-11-20 20:18:26
1798
4
原创 1、数据仓库电商项目（尚硅谷第二版）
前言 读者你好，很高兴你能看到这篇文章，这是一份关于大数据电商项目的深度学习。学习之前请花费几分钟看一下下面关于我的自述。 我纠结写这个已经很久了，我24岁毕业，本科计算机，现在26了，考研失败于是在第一年（2018）年底找工作，第一份工作是少儿编程讲师，个人认为自己适合当老师，所以还是挺喜欢这份工作，但是奈何在不知道几线的小城市里拿着不到3k的工资，实在难以活下.
2020-11-19 21:20:27
2118
1
原创 Kafka初步了解原理
kafka的学习之路kafka目前是很火的消息传送组件，应用在各种复杂的环境下处理数据，具有横向扩展，容错，wicked fast（变态快）等优点，并已在成千上万家公司运行。该篇文章将说明Kafka的一些原理构造，及在大数据中的框架部分，附带案例。什么是Kafka?Apache kafka是消息中间件的一种，我发现很多人不知道消息中间件是什么，在开始学习之前，我这边就先简单的解释一下什么是消息中间件，只是粗略的讲解，目前kafka已经可以做更多的事情。举个例子，生产者消费者，生产者生产鸡蛋，
2020-11-19 17:34:51
133
原创 CDH下配置Flume进行配置传输日志文件（尚硅谷版）
CDH下配置Flume进行日志采集配置说明：许多企业目前都在使用CDH进行大数据开发，CDH具有方便，高效，一键配置，方便管理和搭建大数据组件的特点，所以下面说一下尚硅谷的Flume配合Kafka进行日志文件的采集。架构图下图蓝框内为采集架构图，由架构图得到数据是以Flume --> kafka --> Flume --> HDFS进行采集的，可以看到使用了两次Flume 第一层Flume架构及配置这一块的source是TAILDIR，channel是memory，sink是k
2020-11-11 19:35:22
1729
6
原创 解决webstore出现无法编辑的问题
解决webstore出现无法编辑的问题点击webStorm上方工具栏Tools----->取消Vim Emulator上的对勾~
2020-11-10 14:15:01
194
原创 WebStore下vue项目目录详解
还是小白一枚，刚打开webstore下的vue时，一脸懵逼，完全不知道该怎么整，于是百度一下进行学习 config：Vue基本配置文件
2020-11-10 11:36:43
309
原创 前端开发工具WebStorm下载
WebStorm下载：链接：https://pan.baidu.com/s/11wqoB-1xsX0S92DjKQhV9Q提取码：obdi复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V3的分享小白学习前端，把自己玩成猴
2020-11-09 15:27:42
887
2
原创 HQL训练进阶（50题附答案）
HQL训练进阶（一）说明HQL是数据清洗必备技能，分三个模块进阶学习一、建表create table student(s_id string,s_name string,s_birth string,s_sex string) row format delimited fields terminated by ' ';create table course(c_id string,c_name string,t_id string) row format delimited fields te.
2020-11-05 20:58:21
912
原创 CDH环境下给HDFS，Sqoop，HIVE配置LZO
场景还原：上一章说了怎么在CDH中安装LZO，安装完成后现在继续配置HDFS和Hive下的LZO，我的CDH版本为6.2.1，如果你的不一致，请查阅官方文档。链接: 点这里。操作步骤1、修改HDFS配置在HDFS配置项中搜索“压缩编码解码器”，加入com.hadoop.compression.lzo.LzopCodec2、修改Hive配置在Hive配置项中搜索“Hive 辅助 JAR 目录”，加入/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib.
2020-11-05 11:34:49
377
原创 [全网最简单]CDH下配置LZO
场景还原：因项目需要到数据清洗，在做知识储备（实则心里慌的一批，小白一枚，结果负责整个项目），涉及到LZO压缩，看到百度上的CDH安装实在太复杂，结果查看官方文档几句话就解决了~(lll￢ω￢)操作步骤：CDH官方文档----LZO：文档操作之前要知道在CDH下的LZO 是什么样的，官方是这样说的：GPL Extras contains functionality for compressing data using the LZO compression algorithm.（GPL Ext.
2020-11-05 10:49:34
432
原创 Kafka- flume报错：org.apache.flume.ChannelFullException: The channel has reached it‘s capacity.
场景还原:在测试环境进行数据清洗，由原始日志数据发送至HDFS，过程为：原始日志文件–>flume->kafka->flume->HDFS今天测试一亿条数据时出现问题，问题发生位置在flume->HDFS,问题整体描述如下： ERROR kafka.KafkaSource: KafkaSource EXCEPTION, {}org.apache.flume.ChannelFullException: The channel has reached it's ca.
2020-11-02 16:37:29
2711
原创 【解决】org.apache.hadoop.yarn.exceptions.YarnRuntimeException：创建完成目录时出错
场景还原：HDFS目录出现错误，导致yarn无法启动，报错如下：`org.apache.hadoop.yarn.exceptions.YarnRuntimeException：创建完成目录时出错：[hdfs：//hadoop102.domain：8020 / user / >history / done]在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.tryCreatingHistoryDirs（HistoryFileManager..
2020-10-30 20:02:55
5161
原创 CDH下关于用户权限问题：Error while processing statement:xxxxxxThe directory must be owned by the submitte....
场景还原：最近使用hue对hive进行操作，虽然好用，但是也遇见很多问题，执行一些函数时就会报错，报错内容如下：Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. The ownership on the staging directory /user/admin/.staging is not as exp.
2020-10-29 10:59:56
2642
班迪（优化）.zip
2020-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人