自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 收藏
  • 关注

原创 使用Python 分割Excel文件

【代码】使用Python 分割Excel文件。

2023-10-24 16:28:54 436

原创 定时清理服务器日志

week:表示星期几,可以是从0到7之间的任何整数,这里的0或7代表星期日。command:要执行的命令,可以是系统命令,也可以是自己编写的脚本文件。minute: 表示分钟,可以是从0到59之间的任何整数。month:表示月份,可以是从1到12之间的任何整数。hour:表示小时,可以是从0到23之间的任何整数。day:表示日期,可以是从1到31之间的任何整数。编写删除shell脚本。

2022-10-24 10:08:14 489 1

原创 Ubuntu18.0使用Selenium

1. 安装Google# 下载安装包$ wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb# 更新源$ sudo apt-get -f install# 解压安装包$ sudo dpkg -i google-chrome-stable_current_amd64.deb2. 安装chromedriver# 查看chrome位置$ whereis google-chrome# 下载

2021-08-03 10:01:50 257

原创 Node npm install XXX 报错

Linux安装完Node.Js后,全局安装需要的包可以,但是到具体的项目文件下安装却报错报错信息npm ERR! code ENOENTnpm ERR! syscall opennpm ERR! path /root/.npm/_logs/package.jsonnpm ERR! errno -2npm ERR! enoent ENOENT: no such file or directory, open '/root/.npm/_logs/package.json'npm ERR! enoe

2021-07-20 15:49:58 872

原创 Pycharm 小技巧

格式化代码:ctrl + shift + i格式化headers# 先声明空字典headers = {# 这里一定不要有空格}# 复制进去,如下:headers = {accept: application/json, text/javascript, */*; q=0.01accept-encoding: gzip, deflate, braccept-language: zh-CN,zh;q=0.9cache-control: no-cachecontent-type: ..

2021-05-10 11:30:52 120

原创 爬虫小记:POST请求之 multipart/form-data 类型

某次开发时发现模拟一个 post 请求不下来数据,然后发现 Content-Type 是 multipart/form-data; boundary=----WebKitFormBoundaryEeshAWrJZZFlx0QB 类型的不同于以前常用的的 text/plain 和 application/x-www-form-urlencoded 因此记录下。1.Content-Type类型Content-Type 解释为请求的与实体对应的MIME信息,作用是指定处理请求的提交内容类型 ,比如文本格.

2021-04-27 15:35:58 2852 2

原创 MySQL 常见错误

MySQL疑难杂症1.group by不能使用错误-1055# 查询sql_mode值select @@sql_mode# 将查到的值去掉only_full_group_by项,将其他项添加到my.ini配置文件中(Ubuntu在/etc/mysql/mysql.conf.d/mysqld.cnf)sql-mode=STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION2.插入错误-1146代码搬到服务器上突然不能跑,如下

2021-04-22 17:31:43 107

原创 不关闭Xshell也能使用Linux运行程序

Ubuntu下screen的使用使用 xshell 开启 python脚本,但是软件关闭后脚本也随之关闭了,非常的不方便。因此使用 screen 来解决这个问题。1. screen 的安装# 先运行一下令来确认是否安装了该包$ screen -ls# 如果提示没有则安装$ sudo apt install screen2. screen 的使用# 新建窗口# 如果不指定名字,默认只有一个id,后边想恢复窗口只能根据id来恢复$ screen -S <name># 分离窗

2021-04-16 10:50:26 152

原创 Python执行js文件指定utf-8编码报错

Python执行js文件指定utf-8编码报错使用execjs读取文件不报错,但是调用的时候却报编码错误。Traceback (most recent call last): File "D:/PycharmProjects/python/workspace/dd.py", line 12, in <module> cookie_m = docjs.call('cookie_M') File "D:\ProgramData\Anaconda3\lib\site-packag

2021-04-07 14:20:08 682 2

原创 Windows Server 命令行编码乱码问题

Windows Server 命令行编码乱码问题输入chcp发现编码是437也就是英文编码,那么有两种解决办法:0.前提​ 假如服务器是中文的,那么直接跳过。英文版的要找到时间和语言设置里的区域——>其他日期、时间和区域设置,将格式改为中文,之后重启即可。如下图:1. 临时解决办法命令行输入chcp 65001 可以设置为utf-8编码也可以设置为中文编码9362. 永久解决办法​ 命令行修改只是暂时性的,下次打开编码又回归到437编码了。若要永久修改则需要修改注册表,CMD——&gt

2021-03-31 11:46:04 3308

原创 windows 内存过高解决办法

windows 内存过高解决办法原因一由于win10默认开启了内存压缩(memory compression), 目的是压缩内存让内存占用更低 ,但是实际并不是无时无刻都需要使用这个功能。因此我们可以选择关闭解决办法开始菜单右键选择“windows powershell(管理员)”输入以下命令关闭内存压缩:Disable-MMAgent -mc原因二计算机自动分配的虚拟内存过高,导致开机内存占用80解决办法控制面板——>系统和安全——>系统——>高级系统设置

2021-03-23 14:29:20 19123 3

原创 selenium反爬之WebRTC

关闭浏览器自带的 WebRTC 功能1.简介WebRTC,名称源自网页即时通信(英语:Web Real-Time Communication)的缩写,是一个支持网页浏览器进行实时语音对话或视频对话的 API。它于 2011 年 6 月 1 日开源并在 Google、Mozilla、Opera 支持下被纳入万维网联盟的 W3C 推荐标准由于 WebRTC 存在暴漏真实 IP 地址的可能,所以我们需要关闭 WebRTC。2.原理使用webrtc技术的网站js调用浏览器接口是绕过浏览器

2021-03-16 14:15:27 1612

原创 scrapy部署遇到的问题

爬虫部署遇到的问题项目部署不成功,一直报XXX模块未安装(XXX是项目名)解决办法:找一个文件夹重新生成项目后边不要移动项目即可。部署到windows主机后,启动项目不显示(启不起来)解决办法:安装pywin32包,pip install pywin32生成项目需要的包...

2021-03-09 09:51:45 104

原创 MySQL安装问题

MySQL安装问题安装1个数据库官网下载免安装压缩包: https://downloads.mysql.com/archives/community/ (zip开头,msi是安装包)下载后解压到某一个目录,随便什么地方都可以。解压后的文件比通过安装包安装的少一个 data 文件夹和my.ini 数据库配置文件。data文件夹后边初始化可以生成,因此只需要配置my.ini文件即可。[mysqld]# 跳过密码验证 第7步设置过密码后将此行注释并重启mysql服务skip-grant-tab

2021-03-05 11:47:41 259 1

原创 爬虫之MySQL数据库使用规范

爬虫之MySQL数据库使用规范一.定义规范1.库名、表名、字段名使用小写字母(最好是英文),用_做分割。2.库名、表名、字段名要有中文注释,方便理解。3.库名、表名、字段名见名知意,建议使用名词而不是动词。4.表必须要有主键,最好符合三范式建表。5.存储精确浮点数必须使用DECIMAL替代FLOAT和DOUBLE。6.临时表用tmp开头,线下表爬虫表用ods_crawl开头,比喻爬航班用ods_crawl_flight,爬阿里巴巴用ods_crawl_alibaba。7.整形定义中不添加

2020-07-05 16:46:04 121

原创 Python代码管理

一.Git版本控制在Pycharm中的使用1.安装完git后,首先需要右键——>Git Bash 这时会弹出一个小窗口,可以判断是否安装成功2.在创建仓库之前需要配置用户和邮箱$ git config --global user.name "Your Name"$ git config --global user.email "email@example.com"3.在Pycharm中配置Git设置:Version Control——>Git ,将git的exe文件添加进去(bin

2020-07-05 16:43:57 527

原创 MySQL事务

MySQL事务1.事务(Transaction): 事务是用来保证一个业务操作的完整性,要么成功、要么失败、不允许部分成功、部分失败。2.事务四大特性(ACID): ①原子性(Atomicity): 事务中所有操作视为一个原子单元,及对于事务进行的数据修改操作只能是完全 提交或者完全回滚。 ②一致性(Consistency): 事务在完成...

2019-07-16 18:31:05 82

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除