自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

bushiyao_的专栏

enjoy do it

  • 博客(148)
  • 资源 (1)
  • 收藏
  • 关注

原创 RabbitMQ消息丢失问题

生产者推送消息使用消息发送确认Confirm,通过回调的confirmCallback和returnCallback来控制消息的一致性和处理异常补推情况;消息队列存储使用持久化存储,队列交换机创建时durable属性设置为true,消息投递模式deliverymode设置为2,标记消息持久化;消费者使用手动确认消息模式,在消息处理完成后手动确认通知服务器消息完成;MQ会出现多名消费不均匀分发任务情况;...

2022-07-29 10:45:40 153

原创 ruby gem安装源报错问题

gem 更换源报错处理方式1、先添加有效证书到环境变量2、切换有效清华远3、查看对应源是否有效

2022-06-23 14:44:00 564

原创 python抓取信息js逆向解析

需求爬取个人信息python 爬取站点个人信息, 发现页面展示和爬虫源码不符合,含有加密信息;查找封装处理jsjs 简化处理方式两种处理结果方式:1、 方法处理成 python 函数,封装结果解析;2、 直接使用现成轮子包,处理...

2022-06-21 19:36:31 172

原创 py sel采集部署linux报错

问题处理原因py 使用driver 采集时,在windows正常采集;但是程序丢到linux中,报得异常处理问题报错设置权限问题 File "/usr/local/python3.8/lib/python3.8/site-packages/selenium/webdriver/chrome/webdriver.py", line 70, in __init__ super(WebDriver, self).__init__(DesiredCapabilities.CHROME['browse

2022-05-24 17:35:19 40

原创 python3定时异步调用

python3 定时器选择 schedule 自带功能十分强大;现有需求是每隔15分钟执行一次程序,考虑到程序执行周期需要进行异步执行,防止吧执行周期也加入进去;from threading import Threadimport scheduledef asynca(f): def wrapper(*args, **kwargs): thr = Thread(target=f, args=args, kwargs=kwargs) thr.start()

2022-05-16 17:57:16 576

原创 python采集站点403postman正常

python 使用requests get获取站点内容提示403,但是使用postman获取正常;此时需要加上对应的header验证headers = { 'User-agent': "Mozilla 5.10", 'cache-control': "no-cache" }response = requests.get(url, headers=headers)print(response.status_code)可正常返回站点信息...

2022-05-13 17:57:00 220

原创 npm安装windows-build-toolss

windows 直接安装 windows-build-toolss 会卡在安装py2.7以后;使用以下命令安装:npm --vs2015 install --global windows-build-tools

2022-04-20 16:04:53 1019 1

原创 虚拟机桥接网卡配置

虚拟机桥接网卡配置TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=478e5e17-78a8-4cc5-9991-2

2022-03-10 10:51:17 106

原创 git bash连接mysql卡死问题

现象使用 git bash提供的命令界面进行连接本地 mysql 时会直接卡死在当前界面, 执行的结果是 无输出卡死;原因在安装 git bash 的过程中,就给出了说明提示。对于 Windows命令/交互式命令 需要在其前加"winpty";如果不添加,则会出现卡死情况;处理方式在执行命令前加 winpty ;winpty 是一个 Windows 软件包,提供了类似 Unix pty-master 一样的接口,用于实现控制台程序之间的通讯。...

2021-12-14 18:38:17 742

原创 postgres 问题 psql: FATAL: sorry, too many clients already

场景项目 postgres 连接不上, 所有连接报错 :psql: FATAL: sorry, too many clients already原由程序使用连接未及时释放, 连接一直处于 idle 状态处理方式1、 程序里面未释放的连接, 在使用后及时释放;2、 postgres 连接数默认最大 100个,在配置文件修改该参数;postgres.conf max_connection = 1000 修改后重启生效;3、 postgres 设置 idle 状态连接回收, 该状态默认不开启;p

2021-10-19 10:48:45 5545

原创 nrm测试和管理npm镜像源

简述npm 在使用过程中,下载速度可能会过慢,可以选择安装 nrm 来测试和切换镜像选择;安装 nrmnpm install nrm -g查看镜像列表nrm ls测试镜像访问速度nrm test npmnrm test taobao可以看出使用 taobao 的请求时间最快####### 切换镜像源nrm use taobao切面有 * 标识, 代表当前已使用该镜像地址...

2021-09-15 15:09:02 273

原创 mongo使用mongoexport和mongoimport

简述mongo tools 自带的导入导出工具,导出可选为json文件方便进行数据处理mongoimport 参数使用h,--host :代表远程连接的数据库地址,默认连接本地Mongo数据库;--port:代表远程连接的数据库的端口,默认连接的远程端口27017;-u,--username:代表连接远程数据库的账号,如果设置数据库的认证,需要指定用户账号;-p,--password:代表连接数据库的账号对应的密码;-d,--db:代表连接的数据库;-c,--collection:代表连接数

2021-08-06 11:14:13 188

原创 php 加解密处理openssl_decrypt

基础定义openssl_encrypt# 以指定的方式和 key 加密数据,返回原始或 base64 编码后的字符串openssl_encrypt( string $data, string $cipher_algo, string $passphrase, int $options = 0, string $iv = "", string &$tag = null, string $aad = "", int $tag_leng

2021-07-29 15:32:41 2792

原创 mongo 文档清理重复项

db.link_User.aggregate([ { $group: { _id: {public_id: '$public_id'}, count: {$sum: 1},dups: {$addToSet: '$_id'}} }, { $match: {count: {$gt: 1}} }],{allowDiskUse: true}).forEach(function(doc){ doc.dups.shift(); db.

2021-07-12 15:17:22 32

原创 python 线程消费测试

直接上codeimport timeimport requestsimport threadingimport queueq = queue.Queue()def url_main(): while True: url = "http://www.baidu.com" q.put(url) time.sleep(5)def worker(): while True: url = q.get()

2021-05-24 14:56:09 21

原创 flask 外网访问

背景flask 运行起来默认外网无法测试访问操作启动时加上ip端口参数处理python3 manager.py runserver --host=0.0.0.0 --port=5000注意!:关闭防火墙systemctl stop firewalld.service

2021-05-21 11:10:29 1851 1

原创 docker 修改容器配置自启动

应用场景docker 重启导致应用全部停止, 需要手动一个个启动改动docker container update --restart=always 容器名称成果重启docker后, 容器自启动

2021-05-11 16:50:49 259

原创 mongo 创建唯一索引

概述mongo数据防止插入重复, 创建唯一索引, 插入时判断异常操作db.tt2.ensureIndex({'name':1},{unique:true})测试程序#!/usr/bin/env python# -*- coding:utf-8 -*-from pymongo import MongoClientconn = MongoClient('192.168.38.94', 27017)db = conn.mydb# my_set = db.test_setmy_set =

2021-05-10 17:15:45 522

原创 kafka 简要搭建测试

简介Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等主要应用场景是:日志收集系统和消息系统。快速搭建测试这里使用的docker进行快速构建服务测试# 拉取基础镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka# 启动zookeeperdocker

2021-05-10 14:35:39 62

原创 postgres设置自增

postgres设置自增postgres 自增需要先进行创建自增序列,指定自增值,最小值,最大值:CREATE SEQUENCE "public"."tt_id_seq" INCREMENT 1 MINVALUE 1 MAXVALUE 9223372036854775807 START 1 CACHE 1;设置序列所有者:ALTER TABLE "public"."tt_id_seq" OWNER TO "postgres";设置自增从1开始:SELECT setval('"public"."t

2021-03-30 14:41:47 846

原创 docker 启动postgres

查询 docker 版本需要 docker 18.03 ce 以上版本[root@localhost ~]# docker versionClient: Docker Engine - Community Version: 20.10.5 API version: 1.41 Go version: go1.13.15 Git commit: 55c4c88 Built: Tue Mar 2 20:33:55

2021-03-27 17:45:03 696

原创 docker 安装

安装docker#!/bin/bash# 安装Docker-CEyum install -y yum-utils device-mapper-persistent-data lvm2# 增加最新版本的Docker安装仓库yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # 安装Docker-CE版本yum install -y docker-ce do

2021-03-27 17:43:25 18

原创 postgres 索引基础

postgres 索引方法选择B-Tree支持查询类型对比 等号和范围操作符 ('=', '<', '>', '<=', '>=', BETWEEN, IN)Hash支持等号操作符Gist支持自定义复杂类型(rtree_gist, btree_gist, intarray,tsearch, ltree 和 cube)GINGIN空间占用比Gist较多,使用模糊匹配like索引注意事项索引不应该使用在较小的表中索引不应该使用在大批量更新插入的表中索

2021-03-27 17:42:46 59

原创 钉钉自定义预警接入-php

钉钉自定义预警接入-php业务场景企业内部数据异常预警频率限制每个机器人每分钟最多发送20条。如果超过20条,会限流10分钟。机器人添加需要在PC端后台添加机器人,设定安全设置: IP段限制,关键字限制,签名限制代码测试1、IP段限制直接针对IP接口限制,代码里面没有标识<?php function request_by_curl($remote_server, $post_string) { $ch = curl_init(); curl_setopt

2021-03-16 11:15:31 233 2

原创 win10 遍历删除子文件夹

win10 处理# 删除当前目录下的所有 .svn 文件夹for /r . %i in (.svn) do rd /s /q %i

2021-02-23 11:00:15 232

原创 redis哨兵测试

redis哨兵测试<?php//初始化redis对象$redis = new Redis();//连接sentinel服务 host为ip,port为端口$redis->connect('127.0.0.1', '26382');//可能用到的部分命令,其他可以去官方文档查看//获取主库列表及其状态信息$result = $redis->rawCommand('SENTINEL', 'masters');$master_name = 'mymaster';//

2021-02-09 10:00:14 957

原创 mysql常用

记录最近用到的mysql操作数据导出导出整个数据库结构和数据mysqldump -h 127.0.0.1 -uroot -p123456 database > database.sql导出单个数据表结构和数据mysqldump -h 127.0.0.1 -uroot -p123456 database table > table.sql导出整个数据库结构 // -d 等于 --no-datamysqldump -h 127.0.0.1 -uroot -p123456 -d data

2021-01-20 10:16:29 42

原创 linux sed命令使用

host_env="new line"newline=5line=$(sed -n '/line/=' a.ini)echo $line#sed -i "${line}d" a.inised -i '/^new/d' a.inised -i "${newline} a\\${host_env}" a.ini

2020-11-04 19:20:07 42

原创 python 排序

1、 桶排序def bucket_sort(lst): buckes = [0] * ((max(lst) - min(lst)) + 1) n = 1 print((max(lst) - min(lst)) + 1) print(buckes) for i in range(len(lst)): buckes[lst[i] - min(lst)] += 1 # print('{}--------{}'.form

2020-11-03 17:16:36 666 1

原创 docker启动 redis 并挂载主机目录

1、启动reids 命令docker run -dit --name redis --privileged=true -p 6479:6379 --restart=always -v /etc/localtime:/etc/localtime -v /data/redis_data/conf/redis.conf:/etc/redis/redis.conf -v /data/redis_data/data:/data redis redis-server /etc/redis/redis.conf --a

2020-10-27 17:53:56 1368

原创 excel 公式记录

时间戳转时间=TEXT((AD1/1000+8*3600)/86400+70*365+19,"yyyy/mm/dd hh:mm:ss")、对比包含=IF(IFERROR(MATCH(C2,D:D,0),0)>0,"在列包含","不在列")

2020-09-21 17:54:39 91

原创 yum makecache 报错Error: Cannot retrieve metalink for repository: epel. Please verify its path

在CentOS 6.5 x86_64下 yum makecache 报错Error: Cannot retrieve metalink for repository: epel. Please verify its path解决方法:修改 /etc/yum.repos.d/epel.repo

2020-09-01 19:23:05 267

原创 Mongo排序查询内存超标

报错今天在查询 mongo 过程中一直报错::Executor error during find command: OperationFailed: Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smaller limit., full error: {'ok': 0.0, 'errmsg': 'Executor error during find command:

2020-08-17 11:22:04 314

原创 python包jupyter

本地python调试工具 jupyter 安装使用1、 本地使用 win10 安装使用安装:pip install jupyter运行: jupyter notebook2、运行报错问题D:\soft\cmderλ jupyter'jupyter' is not recognized as an internal or external command,operable program or batch file.因为默认安装不在当前python目录中我本地位置为:C:\Users\1

2020-08-11 16:27:58 532 1

原创 flask 基础调试

测试 flask 修改启动后修改代码自动生效from flask import Flaskapp = Flask(__name__)app.debug = True@app.route("/")def he(): return "hilo2u"if __name__ == "__main__": app.run()

2020-08-06 15:11:47 100

原创 mongo批量去重插入

最近用到 mongo批量去重插入, 记录一波import osimport psycopg2import timeimport threadpoolimport gcimport pymongofrom pymongo import UpdateOnemyclient = pymongo.MongoClient("mongodb://127.0.0.1:8080/")mydb = myclient["test1"]["tt1"]data = [{"aa":11, "bb": 22},

2020-08-05 17:03:34 254

原创 VM共享文件夹失败:unknown filesystem type ‘vmhgfs‘

win10 使用虚拟机共享文件夹挂载失败, 报错:unknown filesystem type 'vmhgfs'最终使用:vmhgfs-fuse .host:/ /mnt/hgfs

2020-07-28 15:59:22 1018

原创 docker for windows挂载目录报错

docker for windows挂载目录报错需要先设置共享目录 然后进行挂载1、设置共享主目录 小鲸鱼=> setting =>shared Drives =>选择 =>应用2、启动挂载 docker run -dit -v D:/data:/data --name newDocker docker-image3、查看状态 docker ps -a4、进入docker 操作 docker exec -it newDocker bash...

2020-07-22 20:08:14 340

原创 Linux 服务器负载情况

Linux 负载查看使用 top 命令,然后按1可以显示cpu核数:我这里展示的 cpu 核数为 1核, load值为 0.1图中 load 值展示了3个数据, 分别为最近 1分钟、5分钟和15分钟的平均负载显示Linux 负载计算根据cpu核数来进行计算:load值 > 1 * CPU核数 则为负载cpu 核数为 1时,load值超过1则为负载cpu 核数为 2时,load值超过2则为负载;...

2020-07-08 20:08:19 155

原创 Linux 定时清理7天前日志文件

查看7天前的LOGfind /home/www/ -name '*.log' -and -mtime +7清理7天前的 logfind /home/www/ -name '*.log' -and -mtime +7 -type f |xargs rm

2020-06-15 18:43:15 1804

wamp环境搭建

WAMP环境搭建讲义与在线教程地址,详细介绍php环境的搭建技术。

2014-08-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除