自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(162)
  • 资源 (3)
  • 问答 (7)
  • 收藏
  • 关注

原创 selenium爬取多个网站及通过GUI界面点击爬取

selenium爬取代码webcrawl.pyimport reimport timeimport jsonfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.chrome.options import Optionsfrom selenium.common.exceptions import TimeoutException, StaleElemen

2024-01-09 18:53:12 648

原创 Scrapy爬取books.toscrape.com使用ProxyPool代理池示例和使用Splash爬取动态网页quotes.toscrape.com示例

根据教程指导操作ProxyPool和代码。

2023-12-23 12:35:18 153

原创 YOLOv5模型训练流程

注意:如果生成的图片没有框,可以降低置信度排查错误,即detect.py文件中的–conf-thres,–iou-thres。结果在yolov5-master/runs/detect/exp下。names为类别名称,在之前的classes.txt中复制。修改完成之后运行即可开始训练。至此,数据集准备完成。nc为标记的类别数量。

2023-08-17 12:44:50 371

原创 解决kibana时间筛选数据不对的问题

解决kibana时间筛选数据不对的问题

2022-11-07 11:40:24 1583 1

原创 正则匹配指定字符串后面的内容

正则匹配指定字符串后面的内容

2022-10-27 18:08:08 1565

原创 filebeat收集普通错误日志和Redis错误日志到logstash,并发送邮件告警

filebeat收集普通错误日志和Redis错误日志到logstash,并发送邮件告警。

2022-10-24 17:35:00 930

原创 解决xlwings多个pid占用多个excel.exe进程,导致打开生成的Excel一片空白

解决xlwings多个pid占用多个excel.exe进程,导致打开生成的Excel一片空白

2022-09-29 09:14:32 1301

原创 argparse不同的参数调用不同的函数

在程序中要用到argparse模块的相关功能,之前没有使用过,在此记录一下。

2022-09-28 18:17:41 364

原创 创建yaml格式文件注意事项

在写yaml转Excel过程中遇到的感觉需要注意的点。

2022-09-28 17:55:45 224

原创 平常遇到的部分代码处理

平常遇到的部分代码处理

2022-09-01 16:08:17 130

原创 pandas将千万行数据分块保存为CSV文件,保存为HDF5文件

从数据库读取数据保存为CSV,然后转换为HDF5,用于后面数据快速处理

2022-06-15 17:51:30 1542

原创 Linux Ubuntu安装Tidb

部署本地测试集群适用场景:利用本地单机 Linux 环境快速部署 TiDB 测试集群,体验 TiDB 集群的基本架构,以及 TiDB、TiKV、PD、监控等基础组件的运行。1.下载并安装 TiUP~$ curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh2.声明全局环境变量注意TiUP 安装完成后会提示对应 profile 文件的绝对路径。在执行以下 source 命令前

2022-03-02 18:33:51 1895 1

原创 Ubuntu安装Docker及Docker部署OceanBase

本地最小测试集群1.卸载旧版本sudo apt-get remove docker docker-engine docker.io containerd runc2.设置存储库 sudo apt-get update sudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release curl -fsSL https://download.docker.com/linux/ubuntu/gpg

2022-03-02 18:27:46 410

原创 搭建pypiserver私有源

一、Linux搭建1.服务端的配置# 创建虚拟环境conda create -n pypiserver_env python==3.7.0conda activate pypiserver_envpip install pypiserver # 安装pypiserver服务器~$ sudo mkdir packages # 存放包的库,建议创建在根目录下,而且名字必须是packages,如果不是,开启服务器的时候会有错误提示sudo chmod 777 packages # 修改权限p

2022-02-28 16:25:46 1759 4

原创 Jupyterhub嵌入Superset之Jupyterhub配置

上篇地址一、安装Jupyterhub需要 node和npm在~/anaconda3/envs/superset/lib/python3.7/site-packages/incubator-superset/jupyterhub文件夹下(jupyterhub为新建文件夹)1.安装 jupyterhub和notebooksudo python3 -m pip install jupyterhub# 必须安装notebooksudo python3 -m pip install --upgrade

2022-01-21 16:09:07 1512

原创 importlib_metadata.PackageNotFoundError: No package metadata was found for apache-superset

在superset新增页面之后需要superset init刷新权限,但是执行报错:(superset) cwj0@ubuntu:~/anaconda3/envs/superset/lib/python3.7/site-packages/incubator-superset$ superset initTraceback (most recent call last): File "/home/cwj0/anaconda3/envs/superset/bin/superset", line 33,

2022-01-14 16:23:31 11254

原创 Superset新增Jupyter Notebook菜单项

下篇地址此部分隐藏一、下载Jupyter Notebook源码及安装需要npm和nodepip install --upgrade setuptools pipgit clone https://github.com/jupyter/notebookcd notebookpip install -e .npm run build运行npm run build:watch# juoyter notebook --port 8989 # 可指定端口jupyter notebook

2022-01-14 16:07:06 904

原创 Superset1.3.2部分配置教程

注意:superset官方文档说明不支持Windows系统,我开始使用Windows,后面在配置缩略图有错误。OS:Ubuntu20.04Superset:1.3.2这是我在安装中遇到的问题及查询搜集的资料,一些问题的解决办法可能不适合你,但希望还是能够帮到需要的人。一、安装注意事项下面是一些我在安装过程中总结的一些需要注意的:pip install Pillow -i https://pypi.douban.com/simple# 如果不安装xlrd,页面数据列不会出现 上传Excel

2021-12-24 16:55:00 3717

原创 ERROR 1698 (28000): Access denied for user ‘root‘@‘localhost‘ ,Ubuntu20.04中MySQL8.0报错解决。

service mysql restart重启命令sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf在 [mysqld] 最后面加入skip-grant-tables.[mysqld]## * Basic Settings#user = mysql# pid-file = /var/run/mysqld/mysqld.pid# socket = /var/run/mysqld/mysqld.sock# p

2021-12-23 17:23:47 592

原创 安装chromedriver selenium.common.exceptions.WebDriverException:Message:‘chromedriver’ executable needs

selenium.common.exceptions.WebDriverException: Message: ‘chromedriver’ executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home将chromedriver.exe复制到C:\Users\CWJ(你的电脑用户名)\AppData\Local\Programs\Python\Python37\Scr

2021-12-14 10:34:25 667

原创 Python 豆瓣电影 Top 250 xpath,beautiful soup,pyquery

xpath:import requestsimport timeimport csvfrom requests import RequestExceptionfrom lxml import etreedef get_one_page(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML

2021-12-12 20:50:11 694

原创 Superset数据库报错sqlalchemy.orm.exc.DetachedInstanceError: Instance <User at 0x14f05b1db48> is not bound

Instance <User at 0x2a016a24688> is not bound to a Session; attribute refresh operation cannot proceed (Background on this error at: http://sqlalche.me/e/13/bhk3)网上提供的方法: 可以找到 环境中这个目录下 superset\Lib\site-packages\superset\utils的core.py文件,修改对应代码块:

2021-12-10 09:46:29 1193

原创 脚本运行报错

运行脚本报错:/system/bin/sh: /data/local/tmp/device_sh: No such filr or directory.找了好长时间,发现是改变代码后换行符的原因:用notepad++打开脚本,在右下角右键将Windows的CR LF改变为Unix的LF。

2021-08-16 11:15:54 221

原创 luffcc项目-17-安装mysql镜像、安装redis容器、后端项目部署到docker容器中

后端项目部署根据分析的项目部署架构,后端需要需要mysql和redis。所有在此需要先把这些外部工具先预装。一、安装mysql镜像之前使用的mysql版本是5.7版本的。# 如果之前的mysql已经镜像没有下载,则下载命令如下:docker image pull mysql:5.7# -e 设置容器内部的环境变量,一个容器在创建的时候,可以多个不同的环境# 启动mysql容器,MYSQL_ROOT_PASSWORD 指代的就是mysql的root用户的登录密码docker run -itd

2021-03-24 15:55:05 314 1

原创 luffcc项目-13-积分抵扣、发起支付、

积分抵扣1.修改用户模型user/models.pyfrom django.db import modelsfrom django.contrib.auth.models import AbstractUser# Create your models here.from lyapi.utils.models import BaseModelclass User(AbstractUser): phone = models.CharField(max_length=16,null=Tr

2021-03-24 15:48:24 403 1

原创 Tornado-03-Tornado、数据库、同步和异步、Tornado的协程(异步Web请求客户端、基于gen.coroutine的协程异步、并行协程)、Tornado的WebSocket

Tornado一、数据库与Django框架相比,Tornado没有自带ORM,对于数据库需要自己去适配。我们使用MySQL数据库。在Tornado3.0版本以前提供tornado.database模块用来操作MySQL数据库,而从3.0版本开始,此模块就被独立出来,作为torndb包单独提供。torndb只是对MySQLdb的简单封装,不支持Python 3。所以如果在当前版本中使用torndb进行数据库操作,需要修改源代码,所以在此,我们使用pymysql。项目中如果要使用ORM,可以使用SQL

2021-01-21 19:17:52 555

原创 Tornado-02-Tornado、路由进阶、视图进阶(视图中内置的钩子方法、视图方法调用顺序、冲刷缓存、用户认证)、模板语法(基本语法、内置标签或函数)

Tornado一、路由进阶路由语法和参数在路由列表的路由成员中,我们一共可以设置4个参数url(r"/uri路径", 视图类, {“参数名”:“参数值”}, name=“路由别名”)server.pyfrom tornado import webfrom tornado import ioloopsettings = { 'debug': True,}class Home(web.RequestHandler): def initialize(self,compan

2021-01-19 22:00:26 615 1

原创 Tornado-01-Tornado、介绍(特点,安装)、入门(项目基本运行,终端运行项目,开启调试模式,路由拆分,视图编写,多进程模式,)、请求与响应

Tornado文档:https://tornado-zh-cn.readthedocs.io/zh_CN/latest/https://www.tornadoweb.org/en/stable/github:https://github.com/tornadoweb/tornado一、介绍Tornado是使用Python开发的全栈式(full-stack)Web框架和异步网络库,最早由4名Google前软件工程师(布雷特·泰勒)2007创办的Friendfeed(一个社交聚合网站)开发而来的。通过

2021-01-19 10:35:22 265

原创 mofang项目bug18-Error in created hook: “ReferenceError: emotion is not defined“

[Vue warn]: Error in created hook: “ReferenceError: emotion is not defined” (found in ) at vue.js : 634ReferenceError: emotion is not defined at vue.js : 1897解决:我的错误为忘记把emotion及相关文件复制到image文件夹下

2021-01-17 10:56:12 239

原创 魔坊APP项目-28-直播、显示房间列表

直播显示房间列表把上面的客户端live_list.html,修改成live.html,并新建live_list.html,代码:<!DOCTYPE html><html><head> <title>好友列表</title> <meta name="viewport" content="width=device-width,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no"&

2021-01-15 15:41:33 746

原创 魔坊APP项目-27-直播、客户端中调整窗口大小、能播放rtmp格式直播流的播放器模块

直播客户端中直播的界面调整和当前窗口一致live_list.html<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Document</title> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta na

2021-01-14 15:55:01 566

原创 魔坊APP项目-26-直播、docker安装OSSRS流媒体直播服务器、基于APICloud的acLive直播推流模块实现RTMP直播推流、直播流管理

一、docker安装OSSRS流媒体直播服务器在外界开发中, 如果要实现直播功能.常用的方式有:1. 通过第三方接口来实现. 可以申请阿里云,腾讯云,网易云,七牛云的直播接口,根据文档,下载集成SDK到项目中,在第三方用户平台上, 创建直播流[就是一个管道].有了直播流以后, 在客户端中集成一个推流[就是基于rtmp协议把视频摄像头 采集到的信息push到直播服务器]的播放器或者第三放模块在另一个客户端中, 集成支持播放rtmp视频信息的 播放器插件,基于这个插件向第三方直播服

2021-01-12 15:33:59 565 1

原创 魔坊APP项目-25-种植园,植物的状态改动、当果树种植以后在celery的异步任务中调整浇水的状态、客户端通过倒计时判断时间,显示浇水道具

种植园植物的状态改动一、当果树种植以后在celery的异步任务中调整浇水的状态在进行果树种植的时候, 在服务端设置当前果树到等待浇水的redis变量中.通过celery不断进行周期任务的处理, 改动果树的浇水状态socket.py...from datetime import datetime@socketio.on('use_prop', namespace='/mofang')def use_prop(data): """使用道具""" pid = data.get('p

2021-01-11 19:21:34 166

原创 魔坊APP项目-24-种植园,修复宠物喂食时出现的饱食度没有增加的bug、宠物挂了的bug问题

种植园修复宠物喂食时出现的饱食度没有增加的bug在feed方法中监听是否喂食成功的pet_feed_success通知中, 保存更新后的hp_time.my_orchard.html代码:<!DOCTYPE html><html><head> <title>用户中心</title> <meta name="viewport" content="width=device-width,minimum-scale=1.0,maxim

2021-01-08 19:17:43 140

原创 魔坊APP项目-23-种植园,宠物和种植物的状态改变、宠物的状态改动

种植园宠物和种植物的状态改变1. 宠物的状态改动2. 种植物的状态改动3. 道具的使用宠物的状态改动因为宠物有多个,每个宠物会有不同的初始生命的饥饿时间,所以我们提前在mysql中进行配置参数.INSERT INTO mofang.mf_orchard_setting (id, name, is_deleted, orders, status, created_time, updated_time, title, value) VALUES (29, 'pet_hp_max_2', 0, 1

2021-01-06 17:48:38 206

原创 魔坊APP项目-22-种植园,种植栏的功能实现,客户端根据激活状态和未激活状态分别显示树桩、服务端提供种植植物的相关数据、解锁树桩、植物相关道具使用

种植园一、种植栏的功能实现1. 客户端需要的植物相关参数: 总树桩数量, 当前用户激活树桩数量, 当前种植的树桩数量, 树桩列表状态2. 客户端根据激活状态和未激活状态分别显示树桩3. 服务端在用户进入种植园时提供上面的数据4. 用户如果第一次进入种植园需要初始化参数5. 数据库中必须预设树桩的相关参数6. 用户可以使用道具对树桩进行响应的操作7. 用户可以在背包里面进行果树的种植1.客户端根据激活状态和未激活状态分别显示树桩my_orchard.html, 代码:<!DOCT

2021-01-05 22:35:10 250

原创 mofang项目bug17-修复商店不显示商品的bug

错误:解决:我的问题为数据库中字段为null的原因,设置为0即可

2021-01-04 22:14:24 97 2

原创 魔坊APP项目-21-种植园,宠物栏的功能实现、服务端提供显示宠物的api接口、客户端中展示宠物栏和宠物列表以及饱食度、宠物道具的使用

种植园一、宠物栏的功能实现1. 宠物的显示2. 宠物的使用3. 宠物的饱食度4. 宠物的开锁1.服务端提供显示宠物的api接口socket.py,代码...import mathfrom application import redis@socketio.on('pet_show', namespace='/mofang')def pet_show(): """显示宠物""" room = request.sid user_info = mongo.db.u

2021-01-04 21:37:09 335

原创 魔坊APP项目-20-种植园,背包显示道具、用户购买道具的时候,判断背包存储是否达到上限、背包解锁

种植园一、背包显示道具在背包中显示道具,会涉及到用户的背包格子的显示以及解锁问题,所以我们需要在服务端准备一个参数信息, 用于保存种植园中用户的业务参数,例如:格子的初始化数量, 每次解锁背包格子的价格等等.参数信息的保存与之前项目配置的信息有所不同, 不同的地方在于, 参数信息仅仅是种植园额业务参数,会在项目运营的时候允许有所改动,而项目配置的变量参数则在项目上线以后基本不做改动.所以我们可以使用数据库表的方式来保存种植园的参数信息.orchard/models.py代码:...class

2020-12-31 18:37:09 999

原创 魔坊APP项目-19-种植园,我的背包、道具购买

种植园一、我的背包打开背包,orchard.html,代码:<!DOCTYPE html><html><head> <title>用户中心</title> <meta name="viewport" content="width=device-width,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no"> <meta charset="utf-8">

2020-12-30 21:49:23 314

使用Splash爬取动态网页quotes.toscrape.com使用示例

使用Splash爬取动态网页quotes.toscrape.com使用示例

2023-12-23

Scrapy爬取books.toscrape.com使用ProxyPool代理池示例

Scrapy爬取books.toscrape.com使用ProxyPool代理池示例

2023-12-23

superset_config.py

superset_config.py

2022-06-17

temp_reset_windows_pycharm

Windows中30天试用

2022-02-25

temp_reset_mac_linux_pycharm

Linux中pycharm 30天试用

2022-02-25

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除