彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

排序:
默认
按更新时间
按访问量

PyCharm文件删除后提示文件找不到:递归删除目录下pyc文件

PyCharm代码删除后,会提示文件找不到,这是由于.pyc 字节码文件没有删除,运行的是之前的代码编译好的*.pyc 字节码文件 解决办法: 删除*.pyc 文件 删除当前目录下.pyc文件 $ rm -rf "*.pyc" 递归删除目录下.pyc文件 ...

2018-11-19 21:31:33

阅读数:11

评论数:0

Python编程:itemgetter获取字典元素和groupby分组

itemgetter获取字典元素 groupby分组 代码示例 from itertools import groupby from operator import itemgetter d1 = {"name": "Tom&quot...

2018-11-18 22:00:48

阅读数:2

评论数:0

PyCharm激活方式

第一步,修改hosts文件 Windows系统hosts文件路径为:c:\windows\system32\drivers\etc Mac和Ubantu(Linux)系统hosts文件路径为:/etc 添加到hosts文件 0.0.0.0 account.jetbrains.com 激活码激活 ...

2018-11-18 19:21:37

阅读数:50

评论数:0

Windows平台Hadoop环境安装配置

下载3个所需软件 JDK安装与环境变量配置 下载hadoop,建议使用国内源下载 ,比如:清华大学源 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】 安装配置 这篇文章写的比较好,简单几步就配置成功了 Windows平台安装配置Ha...

2018-11-18 18:40:11

阅读数:22

评论数:0

callback回调函数和hook钩子函数的简单理解

回调函数callback:所调用函数执行完,之后调用的函数 钩子函数hook:消息到达目的地之前,进行拦截,处理消息 简单理解: Scrapy中就有使用: 回调函数,Request执行完下载流程之后,调用parse函数来解析页面 Request(url, callback=self.parse) ...

2018-11-16 19:44:45

阅读数:21

评论数:0

Django CSRF跨站请求伪造的禁用和使用

CSRF (Cross-site request forgery) Django后台设置 全局和局部设置 # 全站使用 'django.middleware.csrf.CsrfViewMiddleware', # 局部禁用 from django.views.decorators.c...

2018-11-16 18:12:04

阅读数:11

评论数:0

Django中使用POST提交和接收数据

POST表单数据 请求头参数 "Content-type","application/x-www-form-urlencoded" Django接收数据 req...

2018-11-16 17:52:47

阅读数:17

评论数:0

Linux环境下安装phantomjs

新建文件夹 mkdir PhantomJS cd PhantomJS 下载解压 wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 tar -xjvf phanto...

2018-11-16 17:16:35

阅读数:35

评论数:0

Scrapyd API 中文翻译版本

原文地址:https://scrapyd.readthedocs.io/en/stable/api.html 以下是 Scrapyd 提供的 JSON API. 实现了对Scrapy 项目管理 # 服务器查询 daemonstatus.json 服务器状态 # 项目操作 addversion.j...

2018-11-16 12:41:26

阅读数:52

评论数:0

Python编程:pkgutil获取包中的资源文件

文件结构 ./ |--main.py |--clazz |--demo.txt 获取clazz包下面的demo.txt文件 main.py import pkgutil ret = pkgutil.get_data("clazz&q...

2018-11-14 19:59:34

阅读数:20

评论数:0

Python编程:tempfile创建零时文件

tempfile需要的时候创建零时文件,关闭之后就被删除了 import tempfile import os # 创建文件 file = tempfile.TemporaryFile(mode="w+") print(file.name) # 4 pri...

2018-11-14 19:54:47

阅读数:37

评论数:0

Python爬虫:Scrapy与__file__引发的异常

报错问题 项目代码中使用了__file__, 项目部署之后,想部署单个爬虫,读取spider-list出错 查看 https://pypi.org/project/scrapyd-client/#id5 作者说,要尽量避免使用__file__ 删除之后确实正常了。。。 ...

2018-11-14 19:02:36

阅读数:19

评论数:0

Python编程:pkgutil获取包里面的所有模块列表

准备工作 环境: python 3.6 文件结构 ├── clazz │ ├── __init__.py │ ├── a.py │ └── b.py └── main.py a.py 的代码 def show(): print("show A&...

2018-11-14 11:03:01

阅读数:67

评论数:0

Python编程:importlib.import_module动态导入模块

环境:python 3.6 文件结构 ├── clazz │ ├── __init__.py │ ├── a.py │ └── b.py └── main.py a.py 的代码 def show(): print("show A") b...

2018-11-14 10:30:40

阅读数:68

评论数:0

Python爬虫:Scrapy的Crawler对象及扩展Extensions和信号Signals

先了解Scrapy中的Crawler对象体系 Crawler对象 settings crawler的配置管理器 set(name, value, priority=‘project’) setdict(values, priority=‘project’) setmodule(module...

2018-11-13 10:33:00

阅读数:48

评论数:0

Python爬虫:Scrapy中间件Middleware和Pipeline

Scrapy提供了可自定义2种中间件,1个数据处理器 名称 作用 用户设置 数据收集器(Item-Pipeline) 处理item 覆盖 下载中间件(Downloader-Middleware) 处理request/response 合并 爬虫中间件(Spider-Mid...

2018-11-12 18:02:16

阅读数:49

评论数:0

Python爬虫:一图看懂ADSL拨号服务器代理池

参考 使用Tornado+Redis维护ADSL拨号服务器代理池

2018-11-10 15:38:00

阅读数:90

评论数:0

curl常用命令

curl 一款很强大的http命令行工具 语法: $ curl [option] [url] 1、基本用法 curl http://www.linux.com 2、保存网页 curl -o baidu.html http://www.baidu.com 3、使用代理 curl -x 192....

2018-11-10 14:36:30

阅读数:47

评论数:0

make[1]: Nothing to be done for `all-am'.

1.这句提示是说明你已经编译好了,而且没有对代码进行任何改动。 若想重新编译,可以先删除以前编译产生的目标文件: make clean make 2.也可以 make clean all make install 参考 make: Nothing to be done for `all’ 解...

2018-11-10 14:24:49

阅读数:42

评论数:0

curl: (1) Protocol "https" not supported or disabled in libcurl

报错 curl: (1) Protocol "https" not supported or disabled in libcurl 解决 重装curl mac平台 sudo ./configure --with-darwinssl make ...

2018-11-10 13:53:19

阅读数:24

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭