Refrain__WG的博客

将数据写入csv文件时，在windows电脑中打开使用乱码错行，mac电脑打开没有任何问题。所以问题应该是编码不同导致的。文本中包含了中文、表情字符集等，无论使用 utf-8 还是 gkb 编码都有问题。最终使用 utf-8-sig 编码完美解决问题。with open(file=file, mode=mode, encoding='utf-8-sig', newline='', errors='ignore') as f: f.write(datas)案例：将8W...

re.sub('需要替换字符', '用于替换的字符', '需要替换的文本', flags=re.I)import re# 正则替换 不区分大小写re.sub('world', 'Python', 'world I love World.', flags=re.I)# 输出结果'Python I love Python.'

# 申请 twitter 开发者帐号 & 应用 tokenconsumer_key = "b5n...W1c"consumer_secret = "RGOGO...rbGvh"access_token = "10177...9Gwc5"access_token_secret = "0ugoL...WsgxW"# 填写twitter提供的开发Key和secret + 提交你的Key和secretauth = tweepy.OAuthHandler(consumer_key, co...

一、问题由于爬虫报错/生产环境更换等原因造成定时的scrapy任务队列pending 等待的太多（通过http://127.0.0.1:6800/listjobs.json?project=myproject查询到 pending 的爬虫队列竟然有600+....）二、解决方案进入 用户目录下-->dbs 目录，删除 pending 的scrapy项目db文件即可因为 dbs 目录下存储着项目数据（包括爬虫任务队列）如下图（scrapy项目为MyToken, 此...

363 docker build -t selenium_python3 . 365 docker run -it --name selenium_python3 selenium_python3 /bin/bash 378 docker login 379 docker ps -a 380 docker ps -l 387 docker commit 5b231292928b doujiang2020/selenium_python3 38...

一、报错描述docker 中 使用 pip install lxml, 报错：error: command 'x86_64-linux-gnu-gcc' failed with exit status 1报错图如下：二、解决方案在构建Docker中，使用apt-get install python3-lxml 代替 pip install lxml,可以正常安装（解决安装依赖报错问题）apt-get install python3-lxml参考文章：https://...

通过git init命令把这个目录变成Git可以管理的仓库git init查看仓库当前的状态git status把文件添加到仓库git add file1 # 添加一个文件git add file1 file2 # 添加多个文件git add . # 添加目录所有变更文件把文件提交到仓库git commit -m "wrote a readme file"查看工作区和版本库里面最新版本的区别git d...

参考文章：https://stackoverflow.com/questions/26053982/setup-script-exited-with-error-command-x86-64-linux-gnu-gcc-failed-with-exit/35164888

1. 安装 Dockeryum -y install docker查看是否安装成功docker version或者docker info2. 启动 Dockersystemctl start docker# 或者service docker start设置开机自启动： systemctlenable docker3. 查找docker...

1. pip install 安装包报错如下ERROR: UnicodeDecodeError: 'gbk' codec can't decode/ python setup.py egg_info Check(base) C:\Users\user>pip download igramscraperCollecting igramscraper Using cached igramscraper-0.3.5.tar.gz (24 kB) ERROR: Command erro

参考资料：https://www.cnblogs.com/qiernonstop/p/3634354.html分析思路：实际代码：ALPHABET = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"def base62_encode(num, alphabet=ALPHABET): ...

前言：工作需要，翻译的文本经常带有 emoji 表情。1. 谷歌翻译（ translate& googletranspython库）优点：方便，简单缺点：需要翻墙，translate 库有次数限制，googletrans 库不能翻译带有 emoji 表情的文本2. 百度翻译注册百度翻译开发者帐号，申请 appID & 密码, 免费 200万字符...

1. 安装 node.js 环境node.js 官网:http://nodejs.cn/download/从node.js官网下载安装包，打开一直执行下一步下一步，不要太简单～。2. 安装编辑器IDE首推 vscode, 免费、轻便且强大。VSCode 官网：https://code.visualstudio.com/3. 使用 node.js 写api...

备份当前表数据到新数据表（快照） 如果想要对一个表进行快照，即复制一份当前表的数据到一个新表，可以结合CREATE TABLE和SELECT：-- 对class_id=1的记录进行快照，并存储为新表students_of_class1:CREATE TABLE students_of_class1 SELECT * FROM students WHERE class_id=1...

添加或更新如果我们希望插入一条新记录（INSERT），但如果记录已经存在，就更新该记录，此时，可以使用INSERT INTO ... ON DUPLICATE KEY UPDATE ...语句：INSERT INTO students (id, class_id, name, gender, score) VALUES (1, 1, '小明', 'F', 99) ON DUPLIC...

一、Linux Centos 添加用户密码adduser [用户名]passwd [用户名]二、用户授权sudo1.添加sudoers文件可写权限查看 sudoers文件只有可读权限需要添加写权限chmod -v u+w /etc/sudoers修改之后的 sudoer 文件权限2. 编辑 sudoer 文件，添加用户权限vi...

1. 创建数据表（10张分表为例）创建 10 张分表：eth_special_addr_trx_0,eth_special_addr_trx_1,......, eth_special_addr_trx_9 # 创建 10 个Hash分表 for i in range(10): sql_create_table = ''' ...

1. 下载 Anaconda/Minconda 安装包官网下载太慢。建议选择 国内镜像。# Anaconda & Minconda 二选一# Anacondawget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.1-Linux-x86_64.sh# Mincondawge...

前期准备：申请 自己的 Aliyun Code 帐号一、Linux/Centos 系统 配置 Git1. 登录Centos服务器, 安装 Git 服务yum install git安装完成可以输入`git --version`，查看Git安装版本，是否安装成功安装成功即可在本地使用git仓库管理文件、clone 公共仓库代码等安装完成后，设置用户名和邮箱，在命令行...

参考资料：http://note.youdao.com/iyoudao/?p=2411一. 什么是Markdown？Markdown是一种轻量级的「标记语言」，通常为程序员群体所用，目前它已是全球最大的技术分享网站GitHub和技术问答网站StackOverFlow的御用书写格式。 Markdown的语法十分简单，常用的标记符号不超过十个，用于日常写作记录绰绰有余，不到...