熊猫学猿-CSDN博客

原创 greenplum遇到的问题

greenplum遇到的问题

2022-11-05 15:49:05 1529 1

1、下载gpbackupDownload VMware Tanzu™ Greenplum® Backup and Restore — VMware Tanzu Network2、安装gpbackup（对应自己的greenplum版本） gpscp -v -f /home/gpadmin/seg_hosts pivotal_greenplum_backup_restore-1.19.0.tar.gz =:/usr/local/greenplum-db-6.1.0/ g..

2022-05-13 10:54:31 980

原创 greenplum优化

1、清理数据表大小频繁进行修改删除的数据表，表占的空间大小膨胀的特别快，表查询速度也会越来越慢使用临时表进行数据表重建2、系统表pg_attribute,pg_class,pg_type长时间不清理，膨胀的大小很影响查询速度使用vacuum full analyze pg_attribute3、清理日志greenplum对于每个查询都有保留日志，长时间磁盘容量就被日志占满使用crontab，建立定时清理日志的跑批...

2021-11-01 17:35:28 516

原创 airflow设置dag并行运行task个数

concurrency是设置设置dag并行运行task的个数，但是default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2020,9,13),#任务启动时间点，须小于实际执行的时间的下一个间隔 'email': ['[email protected]'], 'email_on_failure': False, 'email_on_re

2021-07-08 10:49:31 2515

原创 kafka.errors.CommitFailedError:max_poll_interval_ms

kafka.errors.CommitFailedError: CommitFailedError: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time between subsequent calls to poll() .

2021-04-27 09:59:35 646

原创熊猫学猿--greenplum备份

因为我的greenplum很多数据表都是从其他库同步过来，不需要进行全库备份，所以就使用定时更新需要备份的文件，然后使用gpbackup进行更新获取需要备份的数据表名称/home/gpadmin/backup_lxcs_data.pyimport pandas as pdimport sysfrom sqlalchemy import create_enginedef main(): postgresql_config = { 'host': '192.168.

2021-04-27 09:45:43 391 2

原创熊猫学猿--greenplum维护清理日志

1、定期清理日志greenplum对每个操作都有记录，但长时间下来磁盘容量就很快爆满，尤其在进行批量insert和update操作时，写一个定时清理日志脚本的命令find /data/master/gpseg-1/pg_log -mtime +2 -type f -name "gpdb-*.csv" -exec rm {} \;#mdwssh sdw1 "find /data/primary/*/pg_log -mtime +2 -type f -name "gpdb-*.csv" -ex

2021-04-27 09:35:00 722

原创熊猫学猿--sql查询

查询关键词【select】【from】【where】【order by】【group by】【limit】比如查询一个班级的考试成绩。语文老师只关心语文成绩就是使用 select 语文成绩 from 表名想查前10名select 语文成绩 from 表名 order by语文成绩 desc limit 10查平均分 select mean(语文成绩) from表名 group by 学生学号查不及格的学生 select 姓名from表名 where语文成绩&l...

2021-04-23 15:01:34 101

原创熊猫学猿--数据库基础

现在数据无处不在，说的一句话都能作为数据存储起来。数据库可以看作现实中的仓库，把信息按需求有规则的存储起来。这个仓库从存到取都有一套方式，仓库的每个房间就是数据库的数据表，这里每一条数据都是在一个数据表里，是不能像现实生活中没有规则的随意丢弃到仓库中，必须安排到房间里。仓库的创建使用：CREATE DATABASE房间(TABLE)的装修使用:CREATE TABLE,DROP ,ALTER房间里放东西（数据）使用：INERT,DELELTE,UPDATE找东西使用：SELECT。...

2021-04-23 14:42:03 111 1

原创熊猫学猿--therad和with

from threading import Threadclass methread(Thread): def __init__(self, name: str): super().__init__() self.name=name print(self.name) print('初始化'+'\n') def __enter__(self): self.start() print('in...

2021-03-18 15:58:43 90

原创熊猫学猿--airflow与kubernetes结合

在接触一个新东西的时候，真的希望是一步步告诉怎么实现的，只有跑起来我才能它到底是干啥的1、安装minikube（我是用虚拟机上Linux系统进行的测试）下载minikubecurl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 | bash -s -- 2.2.0 1.4.8 -ssudo install kubectl /usr/local/bin/kubectl2、安

2021-01-15 09:37:53 910

原创熊猫学猿--airflow执行python脚本时能捕捉执行结果

1、创建python脚本def main(): #处理脚本都用main函数下进行 print('hello') if __name__ == '__main__': try: main() sys.exit(0) except Exception as e: print(e) sys.exit(1)2、执行python的shdo /root/miniconda3/bin/python -u /root

2020-09-14 16:25:09 481

原创熊猫学猿---airflow动态创建dag及task

"""Code that goes along with the Airflow located at:http://airflow.readthedocs.org/en/latest/tutorial.html"""from airflow.models import DAGfrom airflow.operators.bash_operator import BashOperatorfrom airflow.contrib.operators.ssh_operator import SSHO

2020-09-14 16:15:31 1415

原创熊猫学猿--airflow创建父与子dag

"""Code that goes along with the Airflow located at:http://airflow.readthedocs.org/en/latest/tutorial.html"""from airflow import DAGfrom airflow.operators.bash_operator import BashOperatorfrom airflow.contrib.operators.ssh_operator import SSHOperator

2020-09-14 16:06:36 334

原创熊猫学猿--airflow执行远程服务器命令

添加服务器链接使用SSHOperatorargs = { 'owner': 'xmxy', 'depends_on_past': False, "catchup": False, 'pool': 'syn_db', 'email': ['[email protected]'], 'email_on_failure': True, 'email_on_retry': False, 'start_date'

2020-09-14 15:58:28 1132

原创熊猫学猿--airflow工作流

创建脚本在设置的dag目录下(/root/airflow/dags),新建.py文件使用官方文档的脚本from datetime import timedelta,datetime# The DAG object; we'll need this to instantiate a DAGfrom airflow import DAG# Operators; we need this to operate!from airflow.operators.bash_operator import

2020-09-14 15:34:29 280

原创熊猫学猿--airflow安装、设置时区及设置管理权限

docker下安装1、在Linux服务器上创建目录 mkdir airflow2、拉取 git clone https://github.com/puckel/docker-airflow.git /root/airflow3、 docker run -d -p 8082:8080 puckel/docker-airflow4、在mysql中创建数据库airflow5、修改airflow支持的数据库为mysql 修改airflow.cfgsql_alchemy_conn = mysql:

2020-09-14 14:28:56 759

原创熊猫学猿--数据分析入门2%--pandas

引入pandas包import pandas as pd这里是引入pandas包，并起了个别名pd，方便使用时简单书写获取数据做开发的时候数据获取一般就两种，一种时读取文件，一种是查询数据库从文件读取read_csvTrain_data=pd.read_csv('train.csv',index_col=['id'])这里Test_data是DataFrame类型，DataFrame是由多个Series组成。查看对DataFrame的操作有多种多样，可参考官方文档在运用中比较常见的

2020-09-12 16:21:02 232 1

原创熊猫学猿--数据分析入门1%

大数据，智能AI就像程序界的明星一样，各行都想搞一搞。就连小学生都在开启python编程，我一个搞电路的朋友在问python是什么，怎么这么多广告。一个会计的朋友都说，他也在学python。一个老的php程序猿启动探索python之迷。接触新的语言有三步1、搭环境搭环境真的不是一件简单的事情，新手越不懂，越遇到各种兼容性问题，感觉环境搭成功了，语言之门就跨进了一半了。2、选开发软件在什么软件上开发，选对了真的会事半功倍。python安装后，会让你打开命令窗口，输入脚本看运行结果。即使写.

2020-09-12 15:27:25 133

原创 nvm安装node,npm总是失败

1、下载安装nvm2、使用nvm安装node指定版本，这里需要设置npm下载镜像nvm npm_mirror https://npm.taobao.org/mirrors/npm/nvm node_mirror http://npm.taobao.org/mirrors/node/nvm install 10.15.2这里npm总是不成功3、解决办法，下载npm...

2020-05-08 16:03:31 1466

原创 Python安装包离线安装

当无法联网，又需要安装包的时候，小傻子一个个的去网上下载安装。当发现一个打包下载，打包安装的时候，想想都是泪啊。1、在有网的服务器上下载包pip download agate2、将文件夹复制到离线服务器上，打开powershell执行pip install .\agate-1.6.1-py2.py3-none-any.whl --no-index --find-links ...

2020-04-09 15:02:54 673 1

原创 elk搭建

1、jdk安装在usr文件夹下创建java文件夹将 jdk-11.0.5_linux-x64_bin.tar.gz解压至该文件夹解压 tar -zxvf jdk-11.0.3_linux-x64_bin.tar.gz 配置jdk环境 vi /etc/profile #java enviromnetexport JAVA_HOME=/usr/java/jdk-11.0.5...

2020-03-21 10:52:21 177

原创 pandas读取json，时间被自动添加了当前日期，真是大坑

process_reslut = pd.read_sql_query(process_sql, gjcsdb, params=params)json_process=process_reslut.to_json(orient="records", force_ascii=False)after_reslut = pd.read_json(json_process)为了处理只...

2020-03-14 16:24:21 417

原创熊猫学猿--selenium与chrome配置

1、安装模块 selenium2、下载Chromedrvier3、4、urllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接

2020-03-12 10:56:37 130

原创 conda和pip设置国内下载源

执行如下命令 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ co...

2020-03-12 07:20:41 1223 1

原创熊猫学猿--sqlite数据导入（中文乱码）

将MySQL数据导出成CSV文件，编码格式也改成了utf-8，但导入sqlite怎么都是乱码1、将CSV另存为txt文件2、打开Excel，点击数据--自文本，根据提示的txt格式导入到excel中，然后保存为csv文件3、用notepad++打开CSV文件，将格式转换为utf-8格式，保存4、再次导入，中文正常...

2019-11-15 14:56:34 846

原创熊猫学猿--flask前端页面

1、下载bootstraphttps://getbootstrap.com/docs/4.3/getting-started/download/2、在项目目录下创建static文件夹，将下载的bootstrap解压到该static下3、新建html，layout.html,url_for引用bootstrap.css这里的block为定义模块<!DOCTYPE ...

2019-11-14 10:48:18 219

原创熊猫学猿--flask初学应用

1、用pycharm安装flask模块2、引用模块，创建index.pyfrom flask import Flaskfrom flask import render_templateapp = Flask(__name__)@app.route('/')def index(): return render_template('index.html')if __n...

2019-11-12 14:46:29 160

原创熊猫学猿--anaconda及jupyter notebook使用

初学python时，没用pycharm时，一直用命令窗口安装依赖包使用pycharm后，感觉用界面化操作添加依赖包更简洁。但总是遇到安装失败read time out安装anaconda后，创建项目很多依赖包不用一个个安装添加了anaconda下载路径https://www.anaconda.com/distribution/#download-section（这个下载如果很慢就...

2019-11-08 11:11:58 340

原创熊猫学猿--laravel安装

1、使用composer安装composer create-project --prefer-dist laravel/laravel laravel2、安装完成后，查看目录3、运行http://localhost/qdhouse/laravel/public/

2019-11-08 10:15:42 163

原创熊猫学猿--yii框架安装

1、使用composer安装yiicomposer create-project --prefer-dist yiisoft/yii2-app-basic yii（这里的yii指项目目录名称）2、查看目录3、运行http://localhost/qdhouse/yii/web/index.php...

2019-11-07 16:50:29 395

原创熊猫学猿--thinkphp5修改首页

安装tp5之后，想修改首页内容，加入视图html文件。1、在application\index\目录下，新建文件夹view，view下创建文件夹index2、在index下创建html文件index3、application\index\controller\Index.php中修改，使用fetch4、这时再访问，就【页面错误】原来使用fetch，就得继承Control...

2019-11-07 16:12:11 651 1

原创熊猫学猿---服务器的主域名和子域名的配置

2年前的某条买了个服务器和域名，想督促自己多学习，建个有用的平台。然后钱花了，服务器上面还是空的。今天又立志开始捣鼓，因为做梦都想挣钱。挣钱自己就必须有能力，几年过去了，想法一直在，能力却一直没有提高。开始捣鼓服务器，就从配置服务器开始。服务器上安装一个【宝塔】，真心觉得【宝塔】让linux开发变得简单很多。搭建环境，配置环境都不用命令了。因为计划很多，想一个个开始就想先规划好。首先想从学习m...

2019-08-12 19:45:00 334

原创熊猫学猿--lnmp下安装magento2.3

最难得是开始，讨厌搭建环境，安装软件magento2.3要求php版本7.1.3以上，这里搭建lnmp选择php版本注意1、安装imagemagickwget http://www.imagemagick.org/download/ImageMagick.tar.gztar -xzvf ImageMagickcd ImageMagick-7.0.7-22/./config...

2019-08-08 10:32:22 1730

原创熊猫学猿--magento安装之php版本升级

1、版本升级进入lnmp安装目录，使用命令 install.sh mphp选择对应的版本即可2、升级后，查看phpinfo，版本还是旧版本，修改nginx配置文件include enable-php7.1.conf;//这里改成修改得版本名3、这样升级后，phpinfo查看的版本改了。但配置的虚拟域名php版本还是不变4、修改vhost下的配置文件，将include ena...

2019-08-06 11:42:34 202

原创熊猫学猿--python爬虫某商城所有商品的名称，价格，下载详情图片

用python爬了1000多个商品，把商品标题及价格整理进Excel列表，多线程下载商品详情图5万多张。import sysimport urllibimport jsonimport reimport timeimport osimport jsonimport requestsfrom bs4 import BeautifulSoupimport threadingi...

2019-07-03 16:59:44 297

原创 Windows下用PyCharm写python

一、下载python(https://www.python.org/downloads/windows/)后面默认安装二、运行python打开命令窗口 cmd测试三、安装PyCharm(下载地址http://www.jetbrains.com/pycharm/download/#section=windows，Community版)四、创建一个项目pythons...

2019-05-18 11:09:24 282

原创微擎ueditor多图片批量上传顺序混乱问题

一。web\resource\components\ueditor\dialogs\attachment\attachment.js二、web\resource\components\ueditor\dialogs\image\image.js三、添加一下代码 // 对上传成功后的图片按照选择的顺序进行排序 ...

2019-05-16 10:27:17 1819 3

原创熊猫学猿--微信小程序调用腾讯地图API

1、到腾讯https://lbs.qq.com/，注册获取key值2、在小程序开发设置--服务器域名设置request合法域名，添加 https://apis.map.qq.com3、实现脚本，通过wx.getLocation获取坐标位置，利用腾讯地图的逆解析获取地址名称// 引入SDK核心类var QQMapWX = require('../../utils/qqmap-w...

2019-04-02 16:35:44 564

原创熊猫学猿--js变量的作用域

<html><meta charset="utf-8"><script type"text/javaScript">var t="1";var s="2";function scope(){ console.log(s); console.log(t); var s=3; console.log(s);}scope();//结果...

2019-03-28 14:23:34 104