pyfreyr-CSDN博客

原创 Python性能分析指南

用于分析的程序使用系统 time 命令使用 Python time 模块使用 timeit 模块使用 cProfile 模块cProfile 的使用pstats 分析 cProfile 结果使用 PyCharm profile使用 line_profiler 进行逐行分析内存诊断 memory_profiler分析策略总会遇到一个时候你会想提高程序执行...

2018-07-31 22:24:29 1253

原创 Scrapy命令行工具shell使用

配置 shell 使用的终端登录 shell使用 shell可用方法可用对象示例在 spider 内调用 shellshell 作为 Scrapy 内置的有力交互工具，在其内进行爬取调试和解析验证非常方便。配置 shell 使用的终端若系统安装 IPython，则使用它替换默认的 Python 终端。可在工程内的 scrapy.cfg 文件内指定终端...

2018-07-02 21:50:02 3859

原创 Scrapy各spider简介

scrapy.spiders.Spider属性方法示例scrapy.spiders.CrawlSpider属性方法scrapy.spiders.XMLFeedSpiderscrapy.spiders.CSVFeedSpiderscrapy.spiders.SitemapSpiderScrapy 框架把爬虫从初始 URL 构造 Request 到爬取，再...

2018-07-02 21:48:54 1755

原创 Scrapy-redis实现分布式爬虫

爬虫框架 ScrapyKey-Value 内存数据库 RedisScrapy_redis 实现调度Scrapy_redis 工作原理在 Scrapy 中使用 scrapy_redissettingsSpiderDocker 部署 ScrapyDockerfileDocker-compose构建镜像启动 Redis 服务器启动爬虫服务查看服务关闭爬虫服务删...

2018-07-02 21:47:34 1004

原创 Scrapy-redis源码学习

defaults: 默认参数配置connection: 建立 Redis 连接utilsqueue: 任务调度队列dupefilter: 实现 request 去重scheduler: 远程任务调度spiders: 赋予 Scrapy spiders 远程调度pipelines: 默认数据收集存储Scrapy 是 Python 的一个非常强大的爬虫库，但是当我们要...

2018-07-02 21:41:40 863

原创 Scrapy命令行工具

全局命令(Global commands)startprojectgenspidersettingsrunspidershellfetchviewbenchversion项目命令(Project commands)crawlchecklisteditparse使用scrapy -h查看所有可用命令，scrapy <command&gt...

2018-07-02 21:39:24 1035

原创 Redis入门教程

Redis 安装客户端 redis-cliKeyValue事务管道Python 使用 Redis创建连接事务和管道参考资料 Redis is an open-source in-memory database project implementing a distributed, in-memory key-value store with optio...

2018-07-02 21:37:59 230

原创使用Fiddler对iPhone进行数据抓包分析

配置Fiddler支持HTTPSiPhone安装Fiddler证书iPhone开启证书在iPhone上设置Fiddler代理配置Fiddler支持HTTPSiPhone安装Fiddler证书获取电脑ip地址，cmd输入ipconfig，如我使用wifi则ip为：在iPhone中打开safari（其他浏览器不行），输入http://10.136...

2018-07-02 21:36:31 1034

原创 Scrapy图片爬取方法总结

1. 最常见爬取图片方法1.1 urllib1.2 requests2. Scrapy 支持的方法2.1 ImagesPipeline2.2 自定义 Pipeline2.3 FilesPipeline 和 ImagesPipeline 工作流程1. 最常见爬取图片方法对于图片爬取，最容易想到的是通过urllib库或者requests库实现。具体两种...

2018-07-02 21:32:07 641

原创 Scrapy入门教程

本文从 scrapy 安装开始，简要介绍 scrapy 的项目结构和运行原理，并通过一个 JD 全品类实例演示。0. 什么是 Scrapy1. Scrapy 安装2. Scrapy 目录结构3. Scrapy 整体架构3.1 框架组件3.2 框架工作流程4. 项目实战4.1 定义数据4.2 创建爬虫4.3 使用管道4.4 开启管道4.5 运行爬虫5 写在最...

2018-07-02 21:27:29 527

原创 docker搭建PyPI服务器

运行 docker 服务器添加用户使用方法上传 package使用仓库安装 package运行 docker 服务器首先创建服务器文件存放目录（如 pypi），进入目录。使用镜像 codekoala/pypi 启动 pypi-server 服务器，docker-compose 如下：version: '3'services: pypi: ...

2018-07-01 14:27:20 2094

原创 Python路径处理库pathlib

pathlib.PurePath分割路径 parts驱动器 drive根目录 root自动判断驱动器或根目录 anchor所有上级目录列表 parents父目录 parent完整文件名 name文件后缀 suffix文件后缀列表 suffixes文件名 stemUnix 路径分隔符表示 as_posix()文件 URI 表示 as_uri()判断绝对路径 is_ab...

2018-07-01 14:25:03 11933

原创 SQLAlchemy基础教程

Python DB-APIDB-API 操作数据库流程Connection 对象Cursor 对象DB-API 操作 PostgreSQL启动 PostgreSQL创建数据库 test使用 Python 交互 PostgreSQL什么是 ORMPython 的 ORM 框架SQLAlchemy 架构一个简单实例SQLAlchemy 使用连接数据库描述表结构...

2018-07-01 14:23:08 4030 1

原创 PEP8

代码布局缩进函数参数列表if 语句条件集合制表符 or 空格行的最大长度二元运算符空行源文件编码Import 导入模块级的魔法名称字符串引号表达式和语句中的空格避免使用无关的空格其他建议注释块注释行内注释文档字符串命名规范命名风格命名约定应避免的名字包名和模块名类名异常名全局变量名函数名函数和方法参数方法名和实例变量...

2018-07-01 14:19:47 4697

原创 Python项目目录结构

基础目录结构目录结构说明data/scripts/docs/examples/tests/requirements.txtLICENSE/MANIFEST.in/setup.py/setup.cfgREADME.rst参考项目“项目目录结构”也属于“可读性和可维护性”的范畴，我们设计一个层次清晰的目录结构，就是为了达到以下两点:可读性高: 不熟悉这...

2018-07-01 14:18:15 7161

原创 Pip使用手册

列出已安装的包搜索包安装包从 PyPI 安装从 Github 安装从本地安装从 requirements 安装不使用缓存卸载包升级包查看包的安装信息更换 PyPI 镜像pip 是 Python 官方的包管理工具。$ pipUsage: pip <command> [options]Commands: install ...

2018-07-01 14:17:13 947

原创 Conda使用手册

安装 conda查看 conda 帮助conda 常用命令conda info包管理命令conda list查询安装更新卸载环境管理命令创建环境激活环境删除环境拷贝环境在指定环境中管理包使用国内 conda 软件源加速conda 是针对于 python 的环境和包管理工具。可以安装 minconda 或 anaconda 进行安装，前...

2018-07-01 14:16:27 29644 4

原创 Python打包分发工具setuptools

分发工具 setuptools第一个安装文件使用安装文件创建 wheelSource distributionBuilt distributionWheel安装 Wheel上传 Wheel 到 PyPI注册 PyPI 账号安装 twine使用 twine 上传setup() 参数nameversionpackagesdescriptionurlaut...

2018-07-01 14:14:48 20988 1

原创 Git基础教程

Git 安装配置基本概念工作区版本库暂存区工作区、暂存区和版本库的关系Git 的三种状态基础操作创建版本库查看工作区和暂存区状态把文件修改添加到版本库撤销修改撤销工作区修改撤销暂存区修改撤销版本库修改: 版本回退远程仓库：GitHub创建远程库添加 SSH Key与远程库关联查看远程分支推送本地分支到远程拉取远程分支到本地从远程库克隆...

2018-07-01 14:08:34 693 1

原创搭建docker私有仓库

搭建私有仓库开启 HTTP 访问推送镜像查看私有仓库查看所有镜像查看具体镜像拉取镜像搭建私有仓库使用 registry 镜像搭建本地私有仓库，compose 文件如下：version: '3'services: registry: image: registry restart: always container_nam...

2018-07-01 13:55:35 173

原创 CentOS7安装nvidia-docker

依赖条件安装 nvidia-docker启动 nvidia-docker 服务使用 nvidia-docker依赖条件如果使用的 Tensorflow 版本大于 1.4.0，要求 CUDA 9.0 以上版本。安装 nvidia-docker下载安装包：$ wget https://github.com/NVIDIA/nvidia-docker/re...

2018-06-30 15:16:55 10350

原创 CentOS7开启docker远程访问

在 CentOS 中没有 /etc/default/docker，另外在 CentOS7 中也没有找到 /etc/sysconfig/docker这个配置文件。在 /usr/lib/systemd/system/docker.service，配置远程访问。主要是在 [Service] 这个部分，加上下面两个参数[Service] ExecStart= ExecStart=/usr...

2018-06-30 15:12:26 1979

原创 docker-compose使用指南

Docker-compose 安装第一个 Compose fileCompose file 指令运行 ComposeCompose 命令行工具 Compose is a tool for defining and running multi-container Docker applications.Docker-compose 是 Docker 的编配工具...

2018-06-30 15:08:34 16052

原创 Dockerfile构建镜像

镜像和容器第一个 Dockerfile使用 Dockerfile 构建新镜像查看新镜像从新镜像启动容器Dockerfile 指令镜像和容器镜像（Image）就是一堆只读层（read-only layer）的统一视角：容器（container）的定义和镜像（image）几乎一模一样，也是一堆层的统一视角，唯一区别在于容器的最上面那一层是可读可写的。...

2018-06-30 15:04:38 437

原创 docker入门教程

安装和启动 Docker运行第一个容器容器的使用查看容器重新启动已停止的容器创建守护容器停止守护容器删除容器demo: 学习 Spark总结本文介绍 Docker 的基本使用方法和常用命令，包括容器的创建、查看、停止和删除。通过这些操作可以实现单个容器的使用和应用部署。至于 Docker 镜像创建、Dockerfile 的书写和编配工具 Docker-com...

2018-06-30 14:52:28 151

原创非root用户使用docker

创建docker组当前用户加入docker组重启docker服务运行docker验证创建docker组$ sudo groupadd docker当前用户加入docker组$ sudo gpasswd -a ${USER} docker重启docker服务$ sudo systemctl restart docker运行doc...

2018-06-30 14:44:34 627

原创 docker-compose安装

方法一：使用 pip 安装方法二：直接下载命令下载添加执行权限查看版本方法一：使用 pip 安装$ pip install docker-compose方法二：直接下载命令下载$ sudo curl -L https://github.com/docker/compose/releases/download/1.16.1/docker...

2018-06-30 14:37:47 151

原创 CentOS7安装docker

卸载旧版安装 Docker CE预备条件安装查看版本启动 Docker关闭 Docker开机启动更换仓库镜像使用 https://docs.docker.com/engine/installation/linux/docker-ce/centos/#install-using-the-repository卸载旧版$ sudo yum re...

2018-06-30 14:23:09 158