- 博客(98)
- 收藏
- 关注
RSS订阅原创 学习篇 | 5步安装 npm & node（homebrew 简洁版）
【代码】学习篇 | 5步安装 npm & node（homebrew 简洁版）
2024-09-22 23:55:59
43
原创 WSL迁移Linux系统到非系统盘（完整实操版）
本文提供了使用 WSL 将 Linux 系统迁移到非系统盘的详细指南。步骤包括确认系统存在、导出系统为 tar 包、删除原系统、在目标盘创建存放文件夹、导入 tar 包回 Linux 系统、验证迁移成功、使用。此过程需确保足够的存储空间并可能需要对大文件进行临时移动或删除以提高效率。
2024-09-22 18:31:53
107
原创 Windows最快2步安装Ubuntu（WSL高效实操版）
本文提供了在Windows上通过WSL2快速安装Ubuntu的详细步骤。首先，需要确认或安装WSL2，Windows 11用户默认已安装。若未安装，可通过命令wsl --install进行。接着，通过wsl --list --online命令查看可安装的Linux发行版，并以Ubuntu为例，展示了安装过程：wsl --install -d Ubuntu-22.04。安装后，可通过wsl -d Ubuntu-22.04命令启动Ubuntu。安装完成后，用户可在终端中正常使用已安装的Linux发行版。
2024-09-21 23:59:22
174
1
原创 Python 虚拟环境安装使用（Anaconda 完整实操版）
本文详细介绍了 Anaconda 的安装、配置和使用过程。内容包括在不同操作系统上的安装步骤，设置国内镜像源，管理 Python 虚拟环境，以及使用 conda 和 pip 安装、卸载第三方库。文章为配置和优化本地 Python 开发环境提供了全面的指南。
2024-09-21 21:28:30
1278
原创 MongoDB 网页可视化管理（adminMongo 的安装、配置）
一、安装 adminMongo1、选定一个目录，执行如下命令git clone https://github.com/mrvautin/adminMongo.git && cd adminMongo注： https://github.com/mrvautin/adminMongo 上下载源码亦可。2、安装npm install注：npm 的安装可以参考 通过 npm 安装 Ionic（同时介绍 Homebrew、nvm、node 的安装）二、配置 adminMongo1、
2020-07-26 13:26:18
2109
原创 一行命令找到占用端口的进程（lsof 命令的使用）
1、格式lsof -i :port注：更多参数通过 lsof -h 查看，或参考 lsof命令（官方）2、示例lsof -i :27018结果类似如下注：这时候如果要关闭进程，通过如下命令即可kill pid如kill 10296kill 的使用可以参考 kill命令（官方）...
2020-07-26 12:51:55
266
原创 Mac 通过 Homebrew 安装 MongoDB
一、快速命令brew tap mongodb/brewbrew install mongodb-community@4.2二、参考资料1、Install MongoDB Community Edition on macOS（官方）
2020-07-25 19:04:20
229
原创 Mac 通过 Homebrew 安装 Redis
一、快速命令brew install redis二、参考资料1、Brew install Redis on Mac · GitHub
2020-07-25 17:53:05
629
原创 Linux 终端退出后继续运行程序 & 长期后台运行（nohup 和 bash -c）
一、快速命令1、nohup 和 &nohup jupyter notebook --ip=127.0.0.1 > Log/jupyter_200721.log 2>&1 &nohup jupyter notebook --ip=127.0.0.1 > Log/jupyter_200721.log 2>&1 &2、bash -c二、 参考资料1、linux后台执行命令：&和nohup...
2020-07-25 17:46:01
1051
4
原创 通过源码编译安装 Python （Linux、Mac 均适用）
一、下载 Python 安装包进入 Python 官网 下载注：Linux 通过 wget 下载即可（安装包链接按版本在官网看），如cd /opt && wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tar.xz二、解压 Python 安装包1、Mac双击自动解压。2、Linuxxz -d Python-3.6.4.tar.xztar -xf Python-3.6.4.tar三、释放编译文件
2020-07-25 15:00:30
1174
原创 Python 输出为 False 的 9 种情况
一、代码演示if None or False or 0 or 0.00 or '' or "" or () or [] or {}: print(1)else: print(0)0二、参考资料Python中Bool为False的情况
2020-07-24 09:46:35
5189
原创 一行命令统计 MongoDB 某一字段不同值的数量
一、快速命令1、格式db.集合名.distinct('字段名')2、示例db.news.distinct('title_id').length3、注意事项a. 先进入MongoDB再操作。b. 去掉".length"将返回该字段不重复值的列表，如db.news.distinct('title_id')二、参考资料1、mongodb count num of distinct values per field/key...
2020-07-22 10:02:43
5581
2
原创 Linux 检索包含指定字符串的文件（输出文件名和所在行）
一、快速命令sudo find /path/ -name "*.*" | xargs grep "关键词"例如sudo find ./ -name "*.py" | xargs grep "mitmproxy"二、参考资料1、在Linux下查找文件内容包含某个特定字符串的文件
2020-07-07 19:12:01
2520
原创 解决 Mac 无法推出U盘/移动硬盘
一、步骤1、把U盘/移动硬盘拖到终端，可以得到其所在完整路径，如："/Volumes/Backup_Plus"2、查看该U盘/移动硬盘存在哪些进程lsof "/Volumes/Backup_Plus"3、热杀进程（不推荐kill -9 强杀）kill 进程号4、重新尝试推出U盘/移动硬盘，也可以通过如下命令diskutil eject "/Volumes/Backup_Plus"...
2020-07-05 15:09:25
5303
原创 通过 Docker 安装、启动、关闭 Splash & 安装 scrapy-splash
一、安装Docker参考Ubuntu 16.04 安装 Docker二、启动Dockerservice docker start注：安装后默认启动。三、通过 Docker安装Splash参考Splash-安装（官方）四、启动 Splash1、直接启动sudo docker run -p 8050:8050 -p 5023:5023 scrapinghub/splash2、以守护进程模式启动sudo docker run -d -p 805...
2020-07-05 14:53:57
2337
原创 rsync 增量传输数据命令及常用参数（支持断点续传）
一、快速命令（当前服务器 -> 远程服务器）rsync -avP --progress -e ssh root@IP:/path/ /path/二、参数详解-v, --verbose 详细模式输出。 -q, --quiet 精简输出模式。 -c, --checksum 打开校验开关，强制对文件传输进行校验。 -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD。 -r, --recursive 对子目录以递归模式处理。 -R, --re
2020-07-05 14:01:26
2570
原创 一行命令统计 MongoDB 某字段数据量
一、命令db.集合名.aggregate([{$group : {_id : "$待统计字段", num_tutorial : {$sum : 1}}}])
2020-07-05 13:41:58
2587
原创 一行命令实现 MongoDB 数据去重
一、步骤1、开启 MongoDB 服务（默认开启）2、进入 MongoDB$ mongo3、输入如下命令db.getCollection("集合名").aggregate([ { $group:{_id:{去重字段:'$去重字段'},count:{$sum:1},dups:{$addToSet:'$_id'}} },{ $match:{count:{$gt:1}} } ],{allowDiskUse: true}).forEach(function(it){ it.dups.shift(); d
2020-07-05 13:04:29
507
原创 Redis 解决 MISCONF Redis is configured to save RDB snapshots, but it is currently not a……
一、解决方案1、开启redis服务2、进入redis-cli3、输入如下代码（临时生效）config set stop-writes-on-bgsave-error no二、注意事项1、如果redis服务重启（或是服务器重启）再出现该问题，仍需重新设置三、参考资料1、Redis 解决MISCONF Redis is configured to save RDB snapshots, but is currently not able to...
2020-07-05 12:44:29
2200
原创 Mac 重新安装 macOS（开机出现？亦适用）
一、步骤1、备份数据2、关机3、开机后按住 Command + R（出现内容后松开）4、抹硬盘数据（可选）5、重新安装 macOS二、注意事项1、步骤3如果没操作好，开机了，那么关机重新来就好2、步骤5会出现黑屏的情况，不要管它！！！！是正常的（因为这个我试了至少4遍……）3、如果步骤5不小心关机/断点了，那么正常开机会出现“？”。重新执行步骤3之后会出现选择Wi-Fi（语言也可能都变成英文），其他一样三、参考资料1、如何通过 macOS 恢复功能重新安装 macOS（官方）...
2020-07-05 12:25:19
979
原创 四步实现 Jupyter Notebook 代码自动补全
一、安装 nbextensionspip install jupyter_contrib_nbextensions -i https://mirrors.aliyun.com/pypi/simple/jupyter contrib nbextension install二、安装 nbextensions_configuratorpip install jupyter_n...
2020-05-05 12:50:34
879
原创 python报错json.decoder.JSONDecodeError: Invalid control character at: line 1 column 74453 (char 74452)
通过python 的 json.loads(data) 方法报错时，加上 "strict=False"即可，如data = json.loads(data, strict=False)参考：18.2. json — JSON encoder and decoder
2020-03-27 11:12:13
1345
原创 Flask 蓝图配置子域名
一、增加 subdomain = 'subdomain_name' 1、在定义蓝图的时候配置 cms_bp = Blueprint("cms", __name__, url_prefix='/cms', subdomain='cms') 2、在注册蓝图的时候配置（推荐） ...
2020-03-20 09:46:54
314
原创 Ubuntu Python3.5 升级 Python3.6 （不同版本的 Python 并存，并通过虚拟环境使用）
标题零、背景Ubuntu 16.04，自带 Python 3.5，使用 scrapydweb 时要求 Python 版本 > 3.5，故去升级Python。之前因为别的 Python 包需要 3.5+ 版本的 Python，也升级过，但当时把 Python 3.5给删了，安装了 Python 3.5，后面 pip 出现了一些问题，又一直没时间深究，后面只得重装系统。则这次仔细 Google...
2019-09-17 10:33:59
774
原创 Linux——split 命令 大文件快速切割
一、快速应用（按行切割）语法：split -l [行数] [待切割文件] -d -a [后缀位数] [文件名前缀]格式：split -l 10000 file -d -a 2 file_prefix实例：split -l 100000 finance_raw_news_235w_190916.json -d -a 2 finance_raw_news_235w_190916_二、参考资料...
2019-09-17 09:47:40
1255
原创 Linux 通过 nethogs 实现服务器流量监控
零、所用环境Ubuntu 16.04一、nethogs 的安装apt-get install nethogs二、nethogs 的使用nethogs三、界面四、报错处理ioctl failed while establishing local IP for selected device eth0.You may specify the device on the com...
2019-09-12 16:02:21
411
原创 Redis 远程连接（ redis.conf 配置 & auth 认证 & 重启 redis）
零、所用环境1、本地macOS 10.14.52、远程服务器Ubuntu 16.04一、修改redis.conf1、找到redis.conf$ sudo find / -name ‘redis.conf’2、修改redis.conf# bind 127.0.0.0bind 0.0.0.0二、重启redis服务$ redis-cli -h 127.0.0.1 -p ...
2019-09-12 14:35:53
846
原创 Redis 可视化管理（AnotherRedisDesktopManager / Medis / redis-commander / RedisDesktopManager）
零、本机环境macOS：10.14.5redis：5.0.3一、AnotherRedisDesktopManager（免费）（推荐）1、资源链接GitHub：https://github.com/qishibo/AnotherRedisDesktopManager安装包：https://github.com/qishibo/AnotherRedisDesktopManager/rel...
2019-09-12 11:16:04
10430
原创 Appium 连接安卓手机（数据线 / Wi-Fi）
零、前置条件 1、系统已安装Appium （参考Appium环境配置） 2、安卓手机已开启USB调试 一、启动Appium服务（通过应用程序） 1、打开Appium Appium应用程序-图标 2、点击“Start Server v x.x.x” 启动...
2019-07-21 11:35:02
2098
原创 Appium环境配置
一、安装 Appium（应用程序） 1、通过 Desktop App 安装下载安装包（各个平台都有） https://github.com/appium/appium-desktop/releases 2、通过NPM安装 npm install -g appium ...
2019-07-20 20:19:54
77
原创 Homebrew切换镜像源（中科大&清华镜像）
零、Homebrew 镜像地址（推荐中科大镜像） 1、brew.git 镜像 中科大镜像：https://mirrors.ustc.edu.cn/brew.git清华镜像：https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.gitGitHub镜像：https://github.co...
2019-07-20 15:20:47
2815
原创 Mongo报错: "Overflow sort stage buffered data usage of ???? bytes exceeds internal limit of 3355443......
报错内容 类似 Overflow sort stage buffered data usage of 33557144 bytes exceeds internal limit of 33554432 bytes 报错场景 通过mongoexport --sort导出数据/其他场景...
2019-07-17 14:30:07
355
原创 redis常用命令
一、关闭、启动redis服务 1、关闭redis服务 redis-cli -h 127.0.0.1 -p 6379 -a [pwd] shutdown 2、开启redis服务 cd /usr/local/redis/bin ./redis-server /usr/local/redis/etc/redis....
2019-04-26 14:40:50
84
原创 Scrapy同时启动多个爬虫
一、方法 1、通过CrawlerProcess """ from scrapy.crawlerimport CrawlerProcess from scrapy.utils.projectimport get_project_settings def run_process_spiders(spider_li...
2019-04-26 11:56:44
666
原创 python日志模块（logging）的使用
一、使用 1、在Scrapy中使用 """python import logging logger = logging.getLogger(__name__) logger.debug(content) """ """settings.py LOG_LEVEL = 'WAR...
2019-04-26 11:38:17
98
原创 Scarpy文件&图片下载（FilesPipeline和ImagesPipeline）
零、所用环境 macOS 10.14.1 Python 3.6.3 scrapy 1.5.1 一、文件下载（基于FilesPipeline） 适用于下载包括但不限于PDF的各种文件。 1、item.py（files未显性用到） item.py 2、spider_...
2019-04-26 10:32:52
135
原创 python执行shell命令
零、所用环境 python 3.6 一、利用OS 1、有输出（执行命令后） """python import os os.system(command) """ 例1：在python中通过you-get命令下载视频（直接打印执行结果） """python ...
2019-04-26 09:35:12
133
原创 Scrapy的settings.py的作用和配置
一、settings.py的作用 自定义所有Scrapy组件的行为，包括核心，扩展，管道和蜘蛛本身。 详见官方文档https://doc.scrapy.org/en/latest/topics/settings.html 二、单个spider的配置 在Spider中加入custom_settings = {……}即可，爬...
2019-04-25 17:31:41
719
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人