- 博客(15)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 Selenium-使用介绍
Driver下载地址 chromedriver selenium Driver的常用的API 基本 from selenium import webdriver executable_path = "chromedriver" driver = webdriver.Chrome(executable_path=executable_path) # 获取所有的frame for window in ...
2019-03-12 17:55:46
243
原创 scrapy-使用
该文章涉及方面比较多，后面会将该文章拆开，每个方面都会进行详细的说明和使用，但是该文件的内容不变。 Scrapy 爬虫框架的使用 手册 基础介绍 安装 pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl pip install Scrapy 错误 ModuleNotFoundError: No module named ‘win32api’ ...
2019-03-12 17:54:20
1192
原创 pspider-简单使用
功能简介 提供方便易用的 WebUI 系统，可视化地编写和调式爬虫 提供爬取进度监控、爬取结果查看、爬虫项目管理等功能。 支持多种后端数据库，如 MySQL、MongoDB、Reids、SQLite、Elasticsearch、PostgreSQL。 支持多种消息队列、如 RabbitMQ、Beanstalk、Redis、Kombu。 提供优先级控制、失败重试、定时抓取等功能。 对接了 Phan...
2019-03-12 17:52:12
579
原创 requests的使用
在这里只是记录下requests的常用使用方法，因为官方文档已经写得很全面了，所以不再重复。 基础使用 安装 pip install requests GET import requests params = { "key":"value" } url = "www.demo.com" headers = { "Accept": "application/json, text/...
2019-03-12 17:48:05
282
原创 关于Vim编辑器的一些常用设置和使用方式
配置信息 配置TAB=四个空格 # 设置全局的配置 vim /etc/vimrc # 设置单个用户的配置（推荐） vim ~/.vimrc # 设置里面的内容 set ts=4 set expandtab set autoindent 设置编码格式 :set fileencoding=utf-8 命令行信息 # 将 rm 默认成 rm -f unalias rm alias rm='rm -f...
2019-03-12 17:43:44
260
原创 ssh-免登录
免密登录 生成 ssh 私钥和公钥 ssh-keygen -t rsa # 创建服务器公钥 touch ~/.ssh/authorized_keys # 添加公钥到文件 cd .ssh cat .ssh/id_rsa.pub > .ssh/authorized_keys # ssh目录权限是700 # authorized_keys 目录的权限是600 ssh-copy-id usern...
2019-03-12 17:40:01
280
原创 CentOS7使用pip
更换pip源 # 不存在则创建 vim ~/.pip/pip.conf 配置文件信息 [global] index-url = http://mirrors.aliyun.com/pypi/simple/ [install] trusted-host=mirrors.aliyun.com 升级pip python3 -m pip install --upgrade pip ...
2019-03-12 17:29:11
672
原创 CentOS7安装jupyter
安装 python3 -m pip install jupyter 配置 生成配置文件 jupyter notebook --generate-config 生成登录密码 python3 -c 'from notebook.auth import passwd; print(passwd("usepassword"));' 修改配置文件 vim ~/.jupyter/jupyter_note...
2019-03-12 17:16:35
2290
原创 CentOS7安装Anconda
安装 下载安装脚本 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh 执行脚本安装 bash Miniconda3-latest-Linux-x86_64.sh # 阅读说明 # 选择安装目录 /usr/local/miniconda3 # 是否安装vscode # 是否添加环境变量 no # 安...
2019-03-12 16:32:12
2941
原创 CentOS7安装使用pyenv
前期准备 下载安装依赖包 sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev \ libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev \ xz-utils tk-dev libffi-dev...
2019-03-12 15:40:02
676
原创 anconda安装
CentOS 安装 1. 下载 我下载的是mini版本的 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # 安装 bash Miniconda3-latest-Linux-x86_64.sh # 阅读说明 # 选择安装目录 /usr/local/miniconda3 # 是否安装vscode...
2019-03-06 10:57:59
706
原创 关于VM12使用U盘（优启通）启动的设置，安装Windows7gost
关于VM12使用U盘（优启通）启动的设置，安装Windows7gost 快速创建一个虚拟机（windows7 X64） 将设置了PE的U盘插入电脑 如图步骤打开虚拟机设置 备注：我这里显示的是两个，你的可能不是，一般选择最后一个就好了。U盘应该在创建虚拟机的时候插入，因为VMware读取U盘还有一个时间，如果你忘记了的话，关闭VMware过会就好了。完成设置 打开虚拟机进入BIOS 设置启动项 进
2017-05-25 17:24:17
2211
原创 使用 casperjs 完成百度相关搜索
百度有一个相关搜索，想借助百度的相关所搜发散一下思维。 你搜索一个关键字的时候，百度会将该关键字的相关内容在页面的最下面展现出来，所以我们可以利用百度的相关搜索进行发散性的扩展在下面直接给出相关代码，代码有注释，希望能帮助你看懂。 不建议初学者学习！ 建议复制之后，明白我所进行的的操作之后，将代码进行更改，完成自己想进行的功能！ 完整的例子参见：https://github.com/casp
2017-04-22 20:17:50
542
原创 phantomjs and casperjs - 安装
你能看到这篇文章，说明你想学习 phantomjs 和 casperjs 这两个东西，所以我在这不想多说什么废话。下面是这两个工具的官方网址，接下来我会介绍他们两个的如何安装。 phantomjs 官方网址 ： http://phantomjs.org/ casperjs 官方网址 ： http://casperjs.org/- phantomjs 下载安装点击超链接下载 windows
2017-04-22 20:08:28
995
原创 C:\Users\Fan\.eclipse\...\configuration could not be created. Please choose a writable locati
今天myeclipse出现了一个小问题，可能是自己非法关闭myeclipse引起的。C:\Users\Fan\.eclipse\...\configuration could not be created. Please choose a writable location using the '-configuration' command line option.上面是出现的提示： 从网上找了
2017-03-19 13:49:48
2821
winrar-x64.exe 无广告
2019-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人