自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(38)
  • 资源 (2)
  • 收藏
  • 关注

原创 Stable Diffusion 提示词解析|AI绘画

玩了很久的SD,感觉已经没有一开始的激情了,最近有幸看到了几篇关于提示词的指导文章,突然感觉又发现了新大陆,整理后供大家一起学习。

2024-01-12 10:14:19 1426 2

原创 无需翻墙|Stable Diffusion WebUI 安装|AI绘画

最近终于有机会从围墙里往外看,了解到外面的世界已经有了天翻地覆的变化,感叹万千,笔者在本地mac,windows,linux,docker部署了不下20遍后,整理出来的极简避坑安装方案,供大家参考学习。

2023-12-29 14:46:25 2631 1

原创 Flink 实现Mysql的数据同步 Mysql Sink Mysql

Flink Sink Mysql 简单实现 环境需求解析完整代码源码下载附:mysql-cdc环境组件版本scala2.12netcat*kafka*mysql*flink1.13.3需求监听mysql某个表的动态,实时同步到另一个数据库中。当然使用maxwell或canal也可以实现同样的效果。这里只是简单演示解析创建环境//创建环境 val settings = EnvironmentSettings.newInsta

2021-11-21 15:54:54 5001 2

原创 Flink Sink Mysql 简单实现

Flink Sink Mysql 简单实现 环境解析完整代码源码下载环境简单实现从一个数据源获取数据,根据特定标识字段,将数据sink到不同mysql表中。组件版本scala2.12netcat*kafka*flink1.13.3解析创建环境、输入流,从socket获取输入数据 val env = StreamExecutionEnvironment.getExecutionEnvironment val inputStream = env

2021-11-21 15:09:42 2303

原创 Flink 自定义 filter 简单实现

Flink filter 简单实现 环境解析源码下载环境组件版本scala2.12netcat*flink1.13.3解析自定义Filter函数,继承 flink 的 FilterFunction 方法package com.z.demo.filterimport org.apache.commons.lang3.StringUtilsimport org.apache.flink.api.common.functions.FilterFunctio

2021-11-21 14:52:04 1629

原创 Flink datastream join 示例

Flink datastream join 示例 环境环境测试从kafka获取数据,直接在控制台打印结果组件版本scala2.12kafka*flink1.13.3

2021-11-18 09:12:24 446

原创 Flink Table中groupby的使用

Flink sql 中group by的使用 环境解析完整代码依赖环境测试从kafka获取数据,直接在控制台打印结果组件版本scala2.12kafka*flink1.13.3解析创建环境val settings = EnvironmentSettings.newInstance().inStreamingMode().build()val tEnv = TableEnvironment.create(settings)创建表 tEnv.ex

2021-11-16 10:26:25 1383

原创 Flink sql 中group by的使用

Flink sql 中group by的使用 环境解析完整代码依赖环境测试从kafka获取数据,直接在控制台打印结果组件版本scala2.12kafka*flink1.13.3解析创建环境val settings = EnvironmentSettings.newInstance().inStreamingMode().build()val tEnv = TableEnvironment.create(settings)创建表tEnv.exe

2021-11-16 09:21:44 1939

原创 Flink SQL - OVER windows‘ ordering in stream mode must be defined on a time attribute.

OVER windows' ordering in stream mode must be defined on a time attribute.

2021-10-27 15:32:39 3854 1

原创 大数据平台实时数仓从0到1搭建之 - 14 Maxwell & Canal 对比

大数据平台实时数仓从0到1搭建之 - 14 Maxwell & Canal 对比概述环境数据库配置安装配置启动命令输出结果HA监控web总结概述前两章分别写了maxwell和canal的安装使用,我本人其实是第一次听说这两个工具。那就从新手使用方面,对比下这两个工具。环境工具版本LinuxCentos 7JDK1.8scala2.11mariadb10.3Zookeeper3.5.8kafka2.4.1Flink1.1

2021-10-07 14:19:42 627

原创 大数据平台实时数仓从0到1搭建之 - 13 Canal

大数据平台实时数仓从0到1搭建之 - 13 Canal概述Canalquickstart修改MariaDB配置Docker下载canal-server启动canal-server客户端输出收尾附客户端代码概述今天学习下Mysql数据库的实时数据采集,看着网上比较流行的有阿里的Canal和Maxwell,看着GitHub上还是用Canal的的人多一点,可能是因为阿里的开源项目。不过,工具不在乎背景,适合自己的才是最好的。初次认识到这两个工具,先从实践来看下两个工具的相似和不同。Maxwell官网:M

2021-10-07 11:23:41 363

原创 大数据平台实时数仓从0到1搭建之 - 12 Maxwell

mysql数据库实时数据采集,mysql数据库同步,maxwell

2021-10-06 21:08:13 667

原创 大数据平台实时数仓从0到1搭建之 - 11 docker

大数据平台实时数仓从0到1搭建之 - 11 server113概述docker安装配置镜像站完成概述创建个新节点,用来安装一些工具服务,配套基础服务Dockerserver113 192.168.1.113docker安装参考菜鸟教程,https://www.runoob.com/docker/centos-docker-install.html[root@server113 ~]# curl -fsSL https://get.docker.com | bash -s docker

2021-10-06 17:15:54 224

原创 jdk各种版本下载地址,直接下载,无需登录

jdk各种版本下载地址,直接下载,无需登录http://jdk.java.net/archive/

2021-10-06 15:38:30 19479

原创 大数据平台实时数仓从0到1搭建之 - 10 阶段回顾

大数据平台实时数仓从0到1搭建之 - 10 阶段回顾概述jpsall整体架构概述截止kafka安装完成,其实一个简单的架构已经可以用了,这里整理下现在集群上安装的各种服务jpsalljpsall,展示出目前三台节点上所有的java进程[root@server110 opt]# ./jpsall.sh ----------------jps server110 --------------------31744 QuorumPeerMain32420 Jps32182 Kafka173

2021-10-03 22:27:46 231

原创 大数据平台实时数仓从0到1搭建之 - 09 Flink 集群&OnYarn

大数据平台实时数仓从0到1搭建之 - 09 Flink 安装配置概述Flink集群规划安装配置文件同步Standalone模式集群启动web UI测试关闭集群Flink on Yarn同步到其他机器提交任务安装完成附件:kafka生产者附件:WordCount 代码概述Flink集群规划server110server111server112FlinkJobManagerTaskManagerTaskManagerTaskManager安装配置[root@serv

2021-10-03 21:54:10 334

原创 大数据平台实时数仓从0到1搭建之 - 08 集群脚本

大数据平台实时数仓从0到1搭建之 - 08 集群脚本概述环境变量jps & jpsall.shzkServer.sh & zk.shkafka-server-start & kafka.sh概述目前涉及到的zookeeper和kafka,都是需要在每台机器上做启动停止操作,本文使用shell脚本,处理集群的操作重点语法:ssh host 命令在对应的host节点上执行某个命令环境变量需要修改对应的用户的环境变量,使用root用户执行脚本,则需要在/root/.b

2021-10-03 16:28:01 177

原创 大数据平台实时数仓从0到1搭建之 - 07 kafka 安装配置

大数据平台实时数仓从0到1搭建之 - 07 kafka 安装配置概述kafka集群规划安装配置同步到其他节点集群启动集群测试安装完成概述kafka安装也比较简单,只需要配置数据存储路径和集群服务器就行,需要注意的也是集群唯一标识broker.idkafka集群规划server110server111server112kafkabroker.id.0broker.id.1broker.id.2安装配置[root@server110 software]# t

2021-10-03 16:05:15 157

原创 大数据平台实时数仓从0到1搭建之 - 06 zookeeper 安装配置

大数据平台实时数仓从0到1搭建之 - 06 zookeeper 安装配置概述zookeeper集群规划安装配置同步其他机器测试安装完成概述zookeeper 安装比较简单,只需要在zoo.cfg中加入集群信息即可,需要注意的地方是zkData/myid不要忘了配置,三台机器id不能相同zookeeper集群规划server110server111server112zookeeperzk.1zk.2zk.3安装#直接解压[root@server110 so

2021-10-03 14:38:05 109

原创 大数据平台实时数仓从0到1搭建之 - 05 hive 安装配置

大数据平台实时数仓从0到1搭建之 - 05 hive 安装配置概述集群规划mariadb10.3安装配置创建metastore库和hive用户hive解压hive-env.sh配置hive-site.xmlmysql jar包初始化元数据配置完成测试hive同步到server111,server112完成概述hive不需要集群配置,在server110上安装配置完,然后复制到server111,server112就行环境具体的环境信息可以参考02-架构设计篇Centos 7jdk 1.8

2021-10-03 12:55:30 251

原创 hadoop historyserver启动,无法访问,查看报错等问题

hadoop historyserver启动,无法访问,查看报错等问题1、historyserver无法启动2、historyserver已启动,可以看到进程,web无法访问url3、historyserver已启动,可以访问日志,提示可能未完成日志聚集记录下hadoop遇到的问题1、historyserver无法启动mapred-site.xml 文件里配置的server111节点,所以只能在server111节点启动,其他节点均不能启动2、historyserver已启动,可以看到进程,

2021-10-03 00:09:10 4119

原创 大数据平台实时数仓从0到1搭建之 - 04 hadoop安装测试

hadoop 最详细的安装教程。从解压到部署完成的整个教程

2021-10-02 23:57:52 524 1

原创 大数据平台实时数仓从0到1搭建之 - 03 虚拟机基础配置

关于虚拟机基础配置,jdk安装,免密登录

2021-10-02 18:19:37 262

原创 大数据平台实时数仓从0到1搭建之 - 02 架构设计

架构选型、框架选择、框架下载

2021-10-01 20:54:55 368

原创 大数据平台实时数仓从0到1搭建之 - 01 目录

大数据平台实时数仓从0到1搭建之 - 01 目录概述目录概述由于公司架构选型,正好有机会可以从传统数仓向大数据离线实时数仓转型,记录下自己学到的东西,以及遇到的问题。预计框架组件,希望路过的大佬可以指点一二hadoop,hive,hbase,zk,kafka,flink,mysql目录大数据平台实时数仓从0到1搭建之 - 01 目录大数据平台实时数仓从0到1搭建之 - 02 架构设计大数据平台实时数仓从0到1搭建之 - 03 虚拟机基础配置大数据平台实时数仓从0到1搭建之 - 0

2021-09-30 21:22:53 390

原创 oracle不使用自关联,直接获取下一行数据

LAG & LEAD 获取上一行/下一行的数据

2020-11-26 21:09:12 693

原创 Excel - SUM和ABS函数联合使用

Excel - SUM和ABS函数联合使用

2020-06-04 23:05:55 3186

原创 Cognos - DPR-ERR-2058 调度程序此时不能处理请求。 调度程序仍在初始化。 如果问题仍然存在,请与管理员联系。

DPR-ERR-2058 调度程序此时不能处理请求。 调度程序仍在初始化。 如果问题仍然存在,请与管理员联系。ERROR [ognos.pogo.http.StandaloneServerConnection] findingActiveCmThread: Unable to initialize CAMFactory CAM-CRP-1085 验证是否已载入安全提供程序类时发生错误。 原因:java.lang.ClassNotFoundException: org.bouncycastle134.jce

2020-05-29 20:31:28 809

原创 查看oracle表被哪些其他用户程序所引用

oracle 查看表被哪些其他用户程序所引用DBA_SOURCE 根据表名模糊匹配DBA_DEPENDENCIES 根据表名或用户查询依赖

2020-05-29 00:07:10 1288

原创 hadoop-3.2.1从零到一分布式环境搭建(一)

hadoop-3.2.1从零到一分布式环境搭建(一)

2020-05-26 00:22:14 232

原创 Linux虚拟机-桥接网络-可视化简单配置

Linux虚拟机-桥接网络-可视化简单配置,nm-connection-editor,systemctl restart network

2020-05-25 22:21:30 549

原创 SEO小白在线试坑(一)

最近看了一本SEO的书,感觉内容并不像想象中那么困难,所以想记录学习并测试下书中的方法前言SEO相关后续前言最近看了一本SEO的书,感觉内容并不像想象中那么困难,所以想记录学习并测试下书中的方法,后期练习的时候,还希望各个圈内的大佬指点一二。SEO相关选择合适的域名、服务器、系统域名主要是让用户好记服务器是要求带宽够用,避免搜索引擎抓取数据的时候网速跟不上这里的系统应该指的是软件,免费开源的别人写好的建站工具核心关键词、次要关键词、长尾关键词搜索引擎抓取网站的重点网站

2020-05-23 00:18:22 126

原创 Linux - samba 目录共享 从无到有 简装版

Linux - samba 目录共享 从无到有 简装版

2020-05-19 18:03:45 164

原创 Linux开机失败,救援模式修复

Linux开机失败,救援模式修复环境步骤环境系统 - 虚拟机 centos7为了搭建samba,开启了selinux,然后系统开机就一直在转圈圈,所以本文记录救援模式修复的过程步骤重启系统进入内核,看到如图菜单的时候按e键,进入编辑模式找到如下图所示位置,添加rd.break console=tty0,然后按CTRL + X保存,系统自动重启理论上不出问题的话,将看到如下界面,然后执行,注意rw和remount直接的是逗号,且没有空格,看到shell有变

2020-05-19 13:23:13 1713

原创 按照官网步骤sbin/start-yarn.sh失败

按照官网步骤sbin/start-yarn.sh失败环境sbin/start-yarn.sh 启动失败sbin/stop-yarn.sh 执行失败环境Centos7 - 1台虚拟机hadoop-3.2.1OpenJDK1.8.0_181root用户 - 伪分布式sbin/start-yarn.sh 启动失败[root@ip10 hadoop-3.2.1]# sbin/start-yarn.sh Starting resourcemanagerERROR: Attempting to op

2020-05-17 22:58:39 3632 3

原创 从本地往hadoop上复制文件失败

从本地往hadoop上复制文件失败环境执行bin/hdfs dfs -put etc/hadoop/*.xml input失败问题2:Name node is in safe mode.环境Centos7 - 1台虚拟机hadoop-3.2.1OpenJDK1.8.0_181root用户 - 伪分布式执行bin/hdfs dfs -put etc/hadoop/*.xml input失败[root@ip10 hadoop-3.2.1]# bin/hdfs dfs -put etc/hadoo

2020-05-17 22:23:51 2740

原创 启动hadoop无法访问web NameNode

启动hadoop后,无法访问NameNode网页环境按照官网步骤启动hadoop后,无法访问页面环境Centos7 - 1台虚拟机hadoop-3.2.1OpenJDK1.8.0_181root用户 - 伪分布式按照官网步骤启动hadoop后,无法访问页面我这里遇到的是linux防火墙问题,学习阶段建议关闭防火墙,避免在不必要的问题上浪费精力systemctl status firewalld.service #查看防火墙状态 centos7systemctl disable firew

2020-05-17 21:26:55 1575

原创 自学hadoop 遇到的第一个问题

自学hadoop 遇到的第一个问题环境执行sbin/start-dfs.sh报错,启动失败环境Centos7 - 1台虚拟机hadoop-3.2.1OpenJDK1.8.0_181root用户 - 伪分布式执行sbin/start-dfs.sh报错,启动失败Starting namenodes on [localhost]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAM

2020-05-17 21:10:24 505

Stable Diffusion WebUI -模型&依赖-006

AI| Stable Diffusion WebUI |模型&依赖 适合没有梯子的兄弟姐妹|AI|Stable Diffusion WebUI。 只能上传1000M以下的资源,所以压缩为了多个文件; dreamshaper:模型 huggingface:依赖

2023-12-29

Stable Diffusion WebUI -模型&依赖-005

AI| Stable Diffusion WebUI |模型&依赖 适合没有梯子的兄弟姐妹|AI|Stable Diffusion WebUI。 只能上传1000M以下的资源,所以压缩为了多个文件; dreamshaper:模型 huggingface:依赖

2023-12-29

Stable Diffusion WebUI -模型&依赖-004

AI| Stable Diffusion WebUI |模型&依赖 适合没有梯子的兄弟姐妹|AI|Stable Diffusion WebUI。 只能上传1000M以下的资源,所以压缩为了多个文件; dreamshaper:模型 huggingface:依赖

2023-12-29

Stable Diffusion WebUI -模型&依赖-003

AI| Stable Diffusion WebUI |模型&依赖 适合没有梯子的兄弟姐妹|AI|Stable Diffusion WebUI。 只能上传1000M以下的资源,所以压缩为了多个文件; dreamshaper:模型 huggingface:依赖

2023-12-29

Stable Diffusion WebUI -模型&依赖-002

AI| Stable Diffusion WebUI |模型&依赖 适合没有梯子的兄弟姐妹|AI|Stable Diffusion WebUI。 只能上传1000M以下的资源,所以压缩为了多个文件; dreamshaper:模型 huggingface:依赖

2023-12-29

Stable Diffusion WebUI -模型&依赖-001

AI| Stable Diffusion WebUI |模型&依赖 适合没有梯子的兄弟姐妹|AI|Stable Diffusion WebUI。 只能上传1000M以下的资源,所以压缩为了多个文件; dreamshaper:模型 huggingface:依赖

2023-12-29

flinkDemo完整代码scala版 - flinkDemo.zip

flinkDemo完整代码scala版,包含TableApi,Flink Sql,DataStream ,socket、kafka、mysql数据源,

2021-11-18

echarts树图实现点击收缩子节点

实现的echarts中树图点击节点收缩的js,在使用该js的时候需替换原来的echarts.js或者在原echarts.js中添加一句代码,压缩包中有引用介绍

2016-05-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除