自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(48)
  • 问答 (1)
  • 收藏
  • 关注

原创 StarRocks物化视图

物化视图(Materialized View)是一种预先计算和存储数据的技术,可以加速数据处理和查询操作,降低计算资源的使用,提供更高的查询并发能力。简单来说它包含了一个查询结果的预计算数据。这个概念与普通视图不同,普通视图是虚拟的,不存储数据,每次查询都需要动态计算。

2024-01-24 16:35:18 1962

原创 StarRocks本地部署

StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议,可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展,高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。上面这段是直接引用官方的原话。

2024-01-24 15:25:42 1267

原创 ClickHouse-常见的问题

纪录clickhouse 使用中遇到的一些问题与解决方案,持续更新。

2023-07-17 15:30:22 2192

原创 利用Pandas进行CSV文件转存并写入Mysql

结合 Pandas 来实现转存 CSV 文件,并写入数据表等

2023-07-17 15:26:27 1069 2

原创 ClickHouse-物化视图

ClickHouse 中物化视图(Materialized View)是一种预先计算并缓存结果的视图,它存储在磁盘上并自动更新,典型的空间换时间思路。物化视图是一种优化技术,它可以加速查询操作,降低系统负载,并提高查询性能。

2023-06-27 16:35:38 4715

原创 ClickHouse-简单了解

什么是 ClickHouse?简单来说它是一个高性能,面向列的SQL数据库管理系统(DBMS),用于在线分析处理(OLAP)。ClickHouse 提供了大量的数据引擎,分为数据库引擎、表引擎,根据数据特点及使用场景选择合适的引擎,这很重要。数据库引擎数据表引擎数据库引擎默认是 Ordinary,在这种数据库下的表可以是任意类型引擎。生产环境中常用的表引擎是 MergeTree 系列,也是官方主推的引擎。

2023-06-26 10:19:41 660

原创 Mysql之回表

Mysql 回表是指在使用索引进行查询时,如果查询结果中包含了不在索引中的字段,Mysql 需要通过回表操作来获取这些字段的值。回表操作会通过访问数据页来获取额外的数据,这可能会导致额外的IO操作和性能损耗。因此,减少回表操作可以提高查询性能。

2023-06-26 10:11:53 329

原创 ant design Card组件了解

用ant design 组件card,用react实现其cover固定大小并自适应。并实现一行6个card,超过自动换行

2023-04-11 15:11:42 1702

原创 Docker Desktop启动时报.Net异常

场景:未知原因导致启动Docker时报错,无法正常启动。Cancellation token triggered before we ....

2022-09-07 09:34:59 389

原创 win10下docker容器时提示端口不可用解决方法

最近用得好好的mysql容器启动不了,报了下面的错。提示端口不可用,ERROR: for mysql5.7 Cannot start service mysql5.7: Ports are not available: listen tcp 0.0.0.0:3306: bind: An attempt was made to access a socket in a way forbidden by its access permissions.......

2022-08-09 22:45:00 1017

原创 guetzli简单使用

Guetzli是一种JPEG编码器,旨在以高视觉质量实现出色的压缩密度。Guetzli生成的图像通常比libjpeg生成的同等质量的图像小20-30%。Guetzli仅生成顺序(非渐进式)JPEG,因为它们提供更快的解压缩速度。...

2022-07-23 23:00:00 786

原创 kubernetes之ConfigMap

Kubernetes允许将配置选项分离到单独的资源对象ConfigMap中,本质上就是一个键值对映射,值可以是短字面量,也可以是完整的配置文件。应用无须直接读取ConfigMap,甚至根本不需要知道其是否存在。映射的内容通过环境变量或者卷文件的形式传递给容器,而并非直接传递给容器。...

2022-07-19 08:00:00 196

原创 kubernetes之ReplicationController与ReplicaSet

一个ReplicationController 有三个主要部分组成:label selector、replica count、pod template上面三个部分都可以随时修改,其中即副本个数变更会影响现有的pod

2022-07-13 09:00:00 574

原创 kubernetes之探针

在Kubernetes上下文中存活探针和就绪探针被称作健康检查。通过存活探针(liveness probe)检查容器是否还在运行。可以为 pod 中的每个容器单独指定存活探针。

2022-07-13 08:00:00 263

原创 python之内存池技术

了解下python内存池技术

2022-07-02 10:00:00 741

原创 python之模块动态加载

模块动态加载。例子:项目里根据环境变量,加载不同的配置。

2022-07-01 15:43:53 2421 1

原创 python之装饰器

Python之装饰器文章目录Python之装饰器基础知识特性参数化装饰器多个装饰器`@wraps`的作用基础知识装饰器是可调用的对象,其参数是另一个函数(被装饰的函数)。装饰器可能会处理被装饰的函数,然后把它返回,或者将其替换成另一个函数或可调用对象。特性能把被装饰的函数替换成其他函数def wrapper(func): def inner(*args, **kwargs): print("hello, i am inner") ret = func(

2022-03-29 10:00:00 159

原创 python之使用functools.partial

文章目录`partial`定义`partialmethod`定义partial定义functools.partial 这个高阶函数用于部分应用一个函数。部分应用是指,基于一个函数创建一个新的可调用对象,把原函数的某些参数固定。使用这个函数可以把接受一个或多个参数的函数改编成需要回调的 API,这样参数更少。这是一段引自Fluent Python的代码示例:>>> from operator import mul>>> from functools import

2022-03-28 18:14:07 2901

原创 python-单分派泛函数(singledispatch)

文章目录单分派泛函数注意事项:应用:singledispatch是标准库functools模块的函数 文档单分派泛函数根据第一个参数的类型,以不同方式执行相同操作的一组函数。在python里,使用 @singledispatch 装饰的普通函数会变成泛函数(generic function)。当然,如果根据多个参数选择专门的函数,那就是多分派了。这里不介绍。这是官方的demo:要定义一个泛型函数,应使用 @singledispatch装饰器进行装饰。 请注意分派是作用于第一个参数的类型,要

2022-03-26 15:21:32 1117

原创 python之Shelve使用

python之Shelve使用引用shelve 是一种持久化的类似字典的对象。 与 dbm 数据库的区别在于 shelve中的值(不是键!)实际上可以为任意 Python 对象 — 即pickle 模块能够处理的任何东西。这包括大部分类实例、递归数据类型,以及包含大量共享子对象的对象。 键则为普通的字符串。重点:shelve的key要求必须是字符串,value则可以是任意合法的python数据类型。更多的详情,请查看官方文档:shelve文章目录python之Shelve使用定义用途用法方法

2021-12-20 10:11:22 2202

原创 tensorflow配置使用GPU

环境win10python==3.7.9tensorflow==1.15tensorflow-gpu==1.15(对于 1.15 及更早版本,CPU 和 GPU 软件包是分开的)cuda==10因为方便,我选择的是cuda10 和 tensorflow1.15,更多的版本支持请查看官方文档:附上cuda10的官方下载连接:查看当前计算机cuda 的版本# cmd 命令运行nvcc --version# 运行结果如下验证GPU是否可用# -*- coding: utf-8 -

2021-11-26 20:45:00 7744

原创 Matplotlib简单的使用

Matplotlib 可以绘制线图、散点图、等高线图、条形图、柱状图、3D 图形、甚至是图形动画等等更多的使用方法,请查看官方文档:https://matplotlib.org/stable/index.html如果不想看英文也可以去看菜鸟教程:https://www.runoob.com/matplotlib/matplotlib-tutorial.html简单的图形示例plot: 将 y 与 x 绘制为线或标记等格式:# 画单条线plot([x], y, [fmt], *, data=.

2021-11-26 17:25:26 611

原创 numpy常用的函数

Numpy 常用的函数函数函数说明np.arange(n)返回ndarray类型,元素从0到n-1np.ones(shape)根据shape生成一个全1数组,shape是元组类型,如(2, 3)np.zeros(shape)根据shape生成一个全0数组,shape用法同上np.full(shape, val)根据shape生成一个数组,每个元素的值都为valnp.eye(n)创建一个正方的n*n单位矩阵,对角线为1,其它为0np.ones_l

2021-11-11 19:30:51 1534

原创 Flask之多应用

Flask之多应用这里所说的应用高度,平时也称为:多应用。官方文档:https://dormousehole.readthedocs.io/en/latest/patterns/appdispatch.html这是根据文档写的一个简单示例:#!/usr/bin/env python# -*- coding: utf-8 -*-from flask import Flaskfrom werkzeug import run_simplefrom werkzeug.middleware.dis

2021-09-09 18:14:50 404

原创 Flask之flask-script

Flask之flask-script 使用详解更多详细说明文档请查看官方文档:https://flask-script.readthedocs.io/en/latest/用过YII2或laravel的人朋友都知道,使用yii或php artisan可以查看脚本执行命令及说明,反正我个人挺喜欢这个的,虽然他们是php web 框架。flask框架也是有类似的功能的,只不过要自己来实现,也挺方便的。先来一段官方文档的示例,创建manager.py文件:# -- coding: utf-8 --f

2021-08-28 15:04:24 193

原创 Flask之before_request与after_request

Flask之before_request与after_request更多的用法或说明请查看文档:https://dormousehole.readthedocs.io/en/latest/api.html#flask.Flask.before_requestflask中有一些内建的装饰器,如:before_request 在请求(request)之前做出响应request_started 在请求(request)开始时做出响应before_first_request 在请求(request

2021-08-28 14:32:30 1715

原创 docker 问题汇总

问题:安装完开发环境后,程序访问redis,报Connection refusedDocker Redis Connection refused解决方法https://blog.csdn.net/u010837612/article/details/82391097docker容器之间是互相隔离的,不能互相访问,在进行了端口映射之后,宿主机可以通过127.0.0.1:6379访问redis,但代码所在容器不行。...

2021-06-27 15:02:51 252

原创 go学习笔记-结构体

Go学习笔记-结构体结构体是由一系列具有相同类型或不同类型的数据构成的数据集合,其格式如下:type struct_variable_type struct { member definition member definition ... member definition}声明package mainimport "fmt"type SaleOrder struct { Sku string Num int Price int}func mai

2021-03-08 21:48:59 80

原创 go学习笔记-集合

Go学习笔记-集合概述Map 集合是无序的 key-value 数据结构,因为 Map 是使用 hash 表来实现的, key / value 可以是任意类型,但所有的 key 必须属于同一数据类型,所有的 value 必须属于同一数据类型,key 和 value 的数据类型可以不相同。声明/*** 声明变量,默认 map 是 nil */var map_variable map[key_data_type]value_data_type/** * 使用 make 函数 */ma

2021-03-08 21:48:17 83

原创 go学习笔记-数组

Go学习笔记-数组概述数组 是一个由固定长度的特定类型元素组成的序列,一个数组可以由零个或多个 元素组成,要注意的是数组一旦声明了,其长度就固定了,不能动态变化。数组初始化长度确定的初始化// 初始化数组中 {} 中的元素个数不能大于 [] 中的数字。var arr = [3] int {1,2,3}// arr := [3] int {1,2,3}fmt.Println("arr", arr)// 二维数组var arr_2 = [3][5] int {{1,2,3,4,5}

2021-02-27 09:41:01 205

原创 go学习笔记-切片

go学习笔记-切片切片,切片是一种动态数组,比数组操作灵活,长度不是固定的,可以进行追加和删除。注:切片不需要说明长度定义声明一个未指定大小的数组来定义切片// 大概的格式如下var slice []type// eg: var slice [] int// 使用make()函数来创建切片// capacity 为可选参数,指定容量// len 是数组的长度并且也是切片的初始长度slice1 := make([]type, len, capacity)// eg: slic

2021-02-27 09:39:53 76

原创 Go学习笔记-变量与常量

Go学习笔记-变量与常量概述变量 来源于数学,是计算机语言中能储存计算结果或能表示值抽象概念,由字母、数字、下划线组成,其中首个字符不能为数字,可以通过变量名访问,一般格式是使用var关键字常量 是一个简单值的标识符,在程序运行时,不会被修改的量, 其数据类型只可以是布尔型、数字型(整数型、浮点型和复数)和字符串型。一般的格式是使用const变量声明单个变量声明第一种:指定变量类型,如果没有初始化,则变量默认为零值,其格式如下// var 变量名称 数据类型 = 变量值// 如果不赋值

2021-02-20 19:41:48 78

原创 Go学习笔记-输出方法

Go学习笔记-输出方法package mainimport "fmt"func main(){ fmt.Print("输出到控制台不换行") fmt.Println("") fmt.Println("输出到控制台且换行") fmt.Printf("name=%s,age=%d\n", "Tom", 30)}Printf格式类型说明%v以默认的方式打印变量的值%T打印变量的类型%+dInteger带符号的整型,fm

2021-02-20 19:40:48 222

原创 laravel/lumen完整打印sql

纪录下打印sql的方法,方法有很多,个人还是喜欢这个,方便点。DB::listen(function($query) { $bindings = $query->bindings; $sql = $query->sql; foreach ($bindings as $replace){ $value = is_numeric($replace) ? $replace : "'".$replace."'"; $sql = preg_re

2021-01-16 16:16:55 637

原创 python生成与安装requestment.txt

项目里会用到许多的依赖包,可以通过生成requirements.txt来记录项目所有的依赖包及其版本号,方便部署生成requirements.txtpip freeze > requirements.txt安装依赖包pip install -r requirements.txt如图:...

2020-10-10 11:34:18 3717

原创 docker部署php+nginx+lumen连接mysql

最近刚好用到,记录一下,以防忘记。php+nginx自行安装 下载镜像MySQL 镜像库地址 默认是最新版本:docker pull mysql:latest此得我用的是:docker pull mysql:5.7 创建一个新的容器: docker run -d -p 3306:3306 --privileged=true -v F:\mysql\conf\my.cnf:/etc/mysql/my.cnf -e MYSQL_ROOT_PASSWORD=root --...

2020-06-03 22:22:31 515

转载 centos7 安装 gitolite (git服务器)

gitolite简介轻量级git服务器程序,解决了git权限管理的问题。(git是一个分布式版本控制系统,就是说每个人作为客户端的同时又是服务器)项目GitHub地址:https://github.com/sitaramc/gitolite项目官方文档:http://gitolite.com/gitolite/当前环境:centos 7安装前准备在客户端机器安装git,并生成秘钥...

2020-04-19 23:43:39 361

原创 Amazon报告-管理库存报告(FBA Manage Inventory)

Amazon报告-管理库存报告(FBA Manage Inventory)

2020-04-10 21:03:45 6749 2

原创 phpMyAdmin配置管理多个数据库服务器方法

用了好几个第三方软件,最后还是喜欢用phpMyAdmin1.打开phpMyadmin目录,找到config.inc.php,若不存在,将config.sample.inc .php更名为config.inc.php2.将以下代码注释或删除3.改成以下内容即可:/** * Servers configuration */$server_hosts = array( '1' =&...

2020-03-09 17:40:21 712

原创 phpStudy升级Mysql8.0版本

下载安装包mysql版本选择自己需要的版本这里选择的是mysql-8.0.17-winx64下载好安装包备份数据库下载好,删除phpstudy的mysql目录。注意把my.ini复制出桌面有用。然后把下载好的新版本的mysql解压到这个目录里。我的是C:\phpStudy\PHPTutorial\MySQL注意:mysql5.7以后的新版本,默认是没有my.ini文件的和dat...

2019-08-22 22:51:47 1262 1

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除