- 博客(17)
- 收藏
- 关注
RSS订阅原创 定时清理服务器日志
week：表示星期几，可以是从0到7之间的任何整数，这里的0或7代表星期日。command：要执行的命令，可以是系统命令，也可以是自己编写的脚本文件。minute： 表示分钟，可以是从0到59之间的任何整数。month：表示月份，可以是从1到12之间的任何整数。hour：表示小时，可以是从0到23之间的任何整数。day：表示日期，可以是从1到31之间的任何整数。编写删除shell脚本。
2022-10-24 10:08:14
494
1
原创 Ubuntu18.0使用Selenium
1. 安装Google# 下载安装包$ wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb# 更新源$ sudo apt-get -f install# 解压安装包$ sudo dpkg -i google-chrome-stable_current_amd64.deb2. 安装chromedriver# 查看chrome位置$ whereis google-chrome# 下载
2021-08-03 10:01:50
261
原创 Node npm install XXX 报错
Linux安装完Node.Js后，全局安装需要的包可以，但是到具体的项目文件下安装却报错报错信息npm ERR! code ENOENTnpm ERR! syscall opennpm ERR! path /root/.npm/_logs/package.jsonnpm ERR! errno -2npm ERR! enoent ENOENT: no such file or directory, open '/root/.npm/_logs/package.json'npm ERR! enoe
2021-07-20 15:49:58
876
原创 Pycharm 小技巧
格式化代码：ctrl + shift + i格式化headers# 先声明空字典headers = {# 这里一定不要有空格}# 复制进去，如下：headers = {accept: application/json, text/javascript, */*; q=0.01accept-encoding: gzip, deflate, braccept-language: zh-CN,zh;q=0.9cache-control: no-cachecontent-type: ..
2021-05-10 11:30:52
121
原创 爬虫小记：POST请求之 multipart/form-data 类型
某次开发时发现模拟一个 post 请求不下来数据，然后发现 Content-Type 是 multipart/form-data; boundary=----WebKitFormBoundaryEeshAWrJZZFlx0QB 类型的不同于以前常用的的 text/plain 和 application/x-www-form-urlencoded 因此记录下。1.Content-Type类型Content-Type 解释为请求的与实体对应的MIME信息，作用是指定处理请求的提交内容类型 ，比如文本格.
2021-04-27 15:35:58
2868
2
原创 MySQL 常见错误
MySQL疑难杂症1.group by不能使用错误-1055# 查询sql_mode值select @@sql_mode# 将查到的值去掉only_full_group_by项,将其他项添加到my.ini配置文件中（Ubuntu在/etc/mysql/mysql.conf.d/mysqld.cnf）sql-mode=STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION2.插入错误-1146代码搬到服务器上突然不能跑，如下
2021-04-22 17:31:43
107
原创 不关闭Xshell也能使用Linux运行程序
Ubuntu下screen的使用使用 xshell 开启 python脚本，但是软件关闭后脚本也随之关闭了，非常的不方便。因此使用 screen 来解决这个问题。1. screen 的安装# 先运行一下令来确认是否安装了该包$ screen -ls# 如果提示没有则安装$ sudo apt install screen2. screen 的使用# 新建窗口# 如果不指定名字，默认只有一个id，后边想恢复窗口只能根据id来恢复$ screen -S <name># 分离窗
2021-04-16 10:50:26
155
原创 Python执行js文件指定utf-8编码报错
Python执行js文件指定utf-8编码报错使用execjs读取文件不报错，但是调用的时候却报编码错误。Traceback (most recent call last): File "D:/PycharmProjects/python/workspace/dd.py", line 12, in <module> cookie_m = docjs.call('cookie_M') File "D:\ProgramData\Anaconda3\lib\site-packag
2021-04-07 14:20:08
685
2
原创 Windows Server 命令行编码乱码问题
Windows Server 命令行编码乱码问题输入chcp发现编码是437也就是英文编码，那么有两种解决办法：0.前提 假如服务器是中文的，那么直接跳过。英文版的要找到时间和语言设置里的区域——>其他日期、时间和区域设置，将格式改为中文，之后重启即可。如下图：1. 临时解决办法命令行输入chcp 65001 可以设置为utf-8编码也可以设置为中文编码9362. 永久解决办法 命令行修改只是暂时性的，下次打开编码又回归到437编码了。若要永久修改则需要修改注册表，CMD——>
2021-03-31 11:46:04
3329
原创 windows 内存过高解决办法
windows 内存过高解决办法原因一由于win10默认开启了内存压缩（memory compression）， 目的是压缩内存让内存占用更低 ，但是实际并不是无时无刻都需要使用这个功能。因此我们可以选择关闭解决办法开始菜单右键选择“windows powershell(管理员)”输入以下命令关闭内存压缩：Disable-MMAgent -mc原因二计算机自动分配的虚拟内存过高，导致开机内存占用80解决办法控制面板——>系统和安全——>系统——>高级系统设置
2021-03-23 14:29:20
19177
3
原创 selenium反爬之WebRTC
关闭浏览器自带的 WebRTC 功能1.简介WebRTC，名称源自网页即时通信（英语：Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的 API。它于 2011 年 6 月 1 日开源并在 Google、Mozilla、Opera 支持下被纳入万维网联盟的 W3C 推荐标准由于 WebRTC 存在暴漏真实 IP 地址的可能，所以我们需要关闭 WebRTC。2.原理使用webrtc技术的网站js调用浏览器接口是绕过浏览器
2021-03-16 14:15:27
1629
原创 scrapy部署遇到的问题
爬虫部署遇到的问题项目部署不成功，一直报XXX模块未安装（XXX是项目名）解决办法：找一个文件夹重新生成项目后边不要移动项目即可。部署到windows主机后，启动项目不显示（启不起来）解决办法：安装pywin32包，pip install pywin32生成项目需要的包...
2021-03-09 09:51:45
104
原创 MySQL安装问题
MySQL安装问题安装1个数据库官网下载免安装压缩包： https://downloads.mysql.com/archives/community/ （zip开头，msi是安装包）下载后解压到某一个目录，随便什么地方都可以。解压后的文件比通过安装包安装的少一个 data 文件夹和my.ini 数据库配置文件。data文件夹后边初始化可以生成，因此只需要配置my.ini文件即可。[mysqld]# 跳过密码验证 第7步设置过密码后将此行注释并重启mysql服务skip-grant-tab
2021-03-05 11:47:41
262
1
原创 爬虫之MySQL数据库使用规范
爬虫之MySQL数据库使用规范一.定义规范1.库名、表名、字段名使用小写字母(最好是英文)，用_做分割。2.库名、表名、字段名要有中文注释，方便理解。3.库名、表名、字段名见名知意,建议使用名词而不是动词。4.表必须要有主键,最好符合三范式建表。5.存储精确浮点数必须使用DECIMAL替代FLOAT和DOUBLE。6.临时表用tmp开头，线下表爬虫表用ods_crawl开头,比喻爬航班用ods_crawl_flight,爬阿里巴巴用ods_crawl_alibaba。7.整形定义中不添加
2020-07-05 16:46:04
121
原创 Python代码管理
一.Git版本控制在Pycharm中的使用1.安装完git后，首先需要右键——>Git Bash 这时会弹出一个小窗口，可以判断是否安装成功2.在创建仓库之前需要配置用户和邮箱$ git config --global user.name "Your Name"$ git config --global user.email "email@example.com"3.在Pycharm中配置Git设置：Version Control——>Git ，将git的exe文件添加进去（bin
2020-07-05 16:43:57
530
原创 MySQL事务
MySQL事务1.事务(Transaction)： 事务是用来保证一个业务操作的完整性，要么成功、要么失败、不允许部分成功、部分失败。2.事务四大特性(ACID)： ①原子性(Atomicity): 事务中所有操作视为一个原子单元，及对于事务进行的数据修改操作只能是完全 提交或者完全回滚。 ②一致性(Consistency): 事务在完成...
2019-07-16 18:31:05
82
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人