彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

Python爬虫:scrapy辅助功能实用函数

scrapy辅助功能实用函数: get_response: 获得scrapy.HtmlResponse对象, 在不新建scrapy项目工程的情况下,使用scrapy的一些函数做测试 extract_links: 解析出所有符合条件的链接 代码示例 以拉勾首页为例,获取拉勾首页所有职位链...

2018-09-29 16:09:05

阅读数:75

评论数:0

搜索引擎快捷导航:一个简单的chrome插件(教程)

搜索引擎快捷导航 使用方法 :下载crx扩展名文件,拖入chrome应用管理界面即可 github地址:https://github.com/mouday/chrome-search-tool 编写一个简单的chrome插件(教程) 实现效果: 简单理解:chrome扩展程序就是一个we...

2018-09-28 16:15:56

阅读数:2088

评论数:7

Python爬虫:浏览器请求头参数RequestHeaders

chrome浏览器请求头中有许多参数,分别代表的意思如下 参数 示例 含义 Accept Accept: */* 客户端能够接收的内容类型 Accept-Encoding Accept-Encoding: gzip, deflate 客户端支持的压缩编码类型 Accept-...

2018-09-27 10:01:47

阅读数:236

评论数:0

Python爬虫:splash+requests简单示例

render import requests def splash_render(url): splash_url = "http://localhost:8050/render.html&...

2018-09-25 18:49:19

阅读数:193

评论数:0

给python项目在github贴上build和pypi小徽章

效果展示 获取第一个徽章build 在项目主目录下创建三个必要文件 新建.travis.yml,写明python的版本号、需要安装的依赖和测试模块 language: python python: - "3.6" i...

2018-09-21 17:17:59

阅读数:59

评论数:0

Python爬虫:使用requests库下载大文件

当使用requests的get下载大文件/数据时,建议使用使用stream模式。 当把get函数的stream参数设置成False时,它会立即开始下载文件并放到内存中,如果文件过大,有可能导致内存不足。 当把get函数的stream参数设置成True时,它不会立即开始下载,当你使用iter_con...

2018-09-20 15:32:26

阅读数:253

评论数:0

MySql修改时间字段的函数

定义和用法 DATE_ADD() 函数向日期添加指定的时间间隔。 DATE_SUB() 函数向日期减少指定的时间间隔。 语法 DATE_ADD(date,INTERVAL expr type) DATE_SUB(date,INTERVAL expr type) date 参数是合法的日期表达式。 ...

2018-09-20 14:08:25

阅读数:104

评论数:0

XPathHelper使用

使用步骤: 1)用chrome打开一个网页 2)按Ctrl-Shift键-X以打开XPath辅助控制台。 3)按住Shift键鼠标在页面上的元素。查询框会不断更新,以显示鼠标指针下面的元素充分XPath查询。结果框其右侧将显示评价结果的查询。 4)如果需要的话,可以直接在控制台编辑XPath查询。...

2018-09-18 17:29:17

阅读数:162

评论数:0

js实现页面滑动到最底部触发内容加载

首先要清楚3个定义: 文档高度: 这是整个页面的高度 可视窗口高度: 这是你看到的浏览器可视屏幕高度 滚动条滚动高度: 滚动条下滑过的高度 所以, 当 文档高度 == 可视窗口高度 + 滚动条高度 时,滚动条正好到底. 以下三个方法分别获取上面3个高度值 scroll-event.js //...

2018-09-18 17:02:56

阅读数:267

评论数:0

css文件能加载但是没有生效

使用nginx+django部署项目的时候,为了提高加载速度,我将css,js,image等静态资源在nginx中配置了路径 本地测试没有问题,代码提交线上就出问题了,出现了这么个情况: css文件能加载但是没有生效 经过查找资料,大概从以下两个方面入手检查: 1、考虑css文件引用是否正确 2...

2018-09-18 16:33:43

阅读数:277

评论数:0

Django响应JsonResponse返回json格式数据报错

代码 return JsonResponse({"name": "tom"}) 报错: TYPEERROR: In order to allow non-dict objects to be serialized set ...

2018-09-18 14:25:09

阅读数:253

评论数:0

Python编程:对字符串加密的5种方式

本文中的加密,是指人不能直观看出信息的加密 1. url编码 from urllib.parse import quote, unquote name = "王大锤" # 编码 utf8_name = quote(na...

2018-09-14 20:41:08

阅读数:308

评论数:0

Python编程:Crypto模块RSA非对称加密

pycrypto模块支持的加密方式 对称加密方式: AES DES ARC4 散列值计算: MD5 SHA HMAC 公钥加密和签名: RSA DSA RSA加密算法是一种非对称加密算法 安装 pip install pycrypto 如果导入错误则参考: Impo...

2018-09-14 18:58:44

阅读数:133

评论数:0

Python编程:shortuuid生成uuid

使用shortuuid可以生成短的uuid,之前用文件的MD5值作为唯一标识,如果没有具体的加密可以使用这个 内部使用基于随机数的uuid4()来生成唯一的uudi 安装 pip install shortuuid 示例 >>&...

2018-09-14 17:44:39

阅读数:212

评论数:0

前端:显示右上角hot字样

<style> .hot { vertical-align: super; color: red; } </style> <span class="ho...

2018-09-14 16:08:17

阅读数:92

评论数:0

mongodb:增加删除字段

mongoDb 1、 给表添加+ 删除字段 db.table.update({}, {$set: {"value": "key"}}) 2、 删除一个字段 db.table.update({},{$unset: {&a...

2018-09-12 18:34:27

阅读数:170

评论数:0

Python爬虫:url中带字典列表参数的编码转换

平时见到的url参数都是key-value, 一般vlaue都是字符串类型的 如果有幸和我一样遇到字典,列表等参数,那么就幸运了 python2代码 import json from urllib import urlencode # 1. 直接将url编码 params = { ...

2018-09-12 11:28:23

阅读数:247

评论数:0

Python编程:使用uuid库生成唯一ID

UUID: Universally Unique IDentifier是128位的全局唯一标识符,通常由32字节的字符串表示,它可以保证时间和空间的唯一性 它通过MAC地址、时间戳、命名空间、随机数、伪随机数来保证生成ID的唯一性。 UUID主要有五个算法,也就是五种方法来实现: uuid...

2018-09-11 10:16:06

阅读数:59

评论数:0

Python编程:uWSGI+nginx配置flask实例

uWSGI简单理解为:Web服务器 安装模块 pip install uwsgi pip install uwsgitop # 监控模块 uWSGI测试 # foobar.py def application(env, start_response): start_respo...

2018-09-10 19:50:20

阅读数:37

评论数:0

Python编程:uWSGI配置报错ModuleNotFoundError: No module named 'flask'

flask的uwsig.ini配置文件如下: [uwsgi] socket = 127.0.0.1:3031 wsgi-file = flask_web.py callable = app processes = 4 threads = 2 stats = 127.0.0.1:9191 启...

2018-09-10 19:36:51

阅读数:360

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭