自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

原创 Python爬虫:scrapy辅助功能实用函数

scrapy辅助功能实用函数: get_response: 获得scrapy.HtmlResponse对象, 在不新建scrapy项目工程的情况下,使用scrapy的一些函数做测试 extract_links: 解析出所有符合条件的链接 代码示例 以拉勾首页为例,获取拉勾首页所有职位链...

2018-09-29 16:09:05 458 0

原创 搜索引擎快捷导航:一个简单的chrome插件(教程)

搜索引擎快捷导航 使用方法 :下载crx扩展名文件,拖入chrome应用管理界面即可 github地址:https://github.com/mouday/chrome-search-tool 编写一个简单的chrome插件(教程) 实现效果: 简单理解:chrome扩展程序就是一个we...

2018-09-28 16:15:56 3403 7

原创 Python爬虫:浏览器请求头参数RequestHeaders

chrome浏览器请求头中有许多参数,分别代表的意思如下 参数 示例 含义 Accept Accept: */* 客户端能够接收的内容类型 Accept-Encoding Accept-Encoding: gzip, deflate 客户端支持的压缩编码类型 Accept-...

2018-09-27 10:01:47 2825 0

原创 Python爬虫:splash+requests简单示例

render import requests def splash_render(url): splash_url = "http://localhost:8050/render.html&quot...

2018-09-25 18:49:19 2849 2

原创 给python项目在github贴上build和pypi小徽章

效果展示 获取第一个徽章build 在项目主目录下创建三个必要文件 新建.travis.yml,写明python的版本号、需要安装的依赖和测试模块 language: python python: - "3.6" install: ...

2018-09-21 17:17:59 597 0

原创 Python爬虫:使用requests库下载大文件

当使用requests的get下载大文件/数据时,建议使用使用stream模式。 当把get函数的stream参数设置成False时,它会立即开始下载文件并放到内存中,如果文件过大,有可能导致内存不足。 当把get函数的stream参数设置成True时,它不会立即开始下载,当你使用iter_con...

2018-09-20 15:32:26 5422 1

原创 MySql修改时间字段的函数

定义和用法 DATE_ADD() 函数向日期添加指定的时间间隔。 DATE_SUB() 函数向日期减少指定的时间间隔。 语法 DATE_ADD(date,INTERVAL expr type) DATE_SUB(date,INTERVAL expr type) date 参数是合法的日期表达式。 ...

2018-09-20 14:08:25 3317 0

原创 XPathHelper使用

使用步骤: 1)用chrome打开一个网页 2)按Ctrl-Shift键-X以打开XPath辅助控制台。 3)按住Shift键鼠标在页面上的元素。查询框会不断更新,以显示鼠标指针下面的元素充分XPath查询。结果框其右侧将显示评价结果的查询。 4)如果需要的话,可以直接在控制台编辑XPath查询。...

2018-09-18 17:29:17 1701 0

原创 js实现页面滑动到最底部触发内容加载

首先要清楚3个定义: 文档高度: 这是整个页面的高度 可视窗口高度: 这是你看到的浏览器可视屏幕高度 滚动条滚动高度: 滚动条下滑过的高度 所以, 当 文档高度 == 可视窗口高度 + 滚动条高度 时,滚动条正好到底. 以下三个方法分别获取上面3个高度值 scroll-event.js //...

2018-09-18 17:02:56 5876 0

原创 css文件能加载但是没有生效

使用nginx+django部署项目的时候,为了提高加载速度,我将css,js,image等静态资源在nginx中配置了路径 本地测试没有问题,代码提交线上就出问题了,出现了这么个情况: css文件能加载但是没有生效 经过查找资料,大概从以下两个方面入手检查: 1、考虑css文件引用是否正确 2...

2018-09-18 16:33:43 3828 3

原创 Django响应JsonResponse返回json格式数据报错

代码 return JsonResponse({"name": "tom"}) 报错: TYPEERROR: In order to allow non-dict objects to be serialized set the safe parmete...

2018-09-18 14:25:09 1921 0

原创 Python编程:对字符串加密的5种方式

本文中的加密,是指人不能直观看出信息的加密 1. url编码 from urllib.parse import quote, unquote name = "王大锤" # 编码 utf8_name = quote(name) # u...

2018-09-14 20:41:08 6065 0

原创 Python编程:Crypto模块RSA非对称加密

pycrypto模块支持的加密方式 对称加密方式: AES DES ARC4 散列值计算: MD5 SHA HMAC 公钥加密和签名: RSA DSA RSA加密算法是一种非对称加密算法 安装 pip install pycrypto 如果导入错误则参考: Impo...

2018-09-14 18:58:44 2578 0

原创 Python编程:shortuuid生成uuid

使用shortuuid可以生成短的uuid,之前用文件的MD5值作为唯一标识,如果没有具体的加密可以使用这个 内部使用基于随机数的uuid4()来生成唯一的uudi 安装 pip install shortuuid 示例 >>> import s...

2018-09-14 17:44:39 2070 0

原创 前端:显示右上角hot字样

<style> .hot { vertical-align: super; color: red; } </style> <span class="hot">hot&l...

2018-09-14 16:08:17 857 0

原创 mongodb:增加删除字段

mongoDb 1、 给表添加+ 删除字段 db.table.update({}, {$set: {"value": "key"}}) 2、 删除一个字段 db.table.update({},{$unset: {"key": &...

2018-09-12 18:34:27 1666 0

原创 Python爬虫:url中带字典列表参数的编码转换

平时见到的url参数都是key-value, 一般vlaue都是字符串类型的 如果有幸和我一样遇到字典,列表等参数,那么就幸运了 python2代码 import json from urllib import urlencode # 1. 直接将url编码 params = { ...

2018-09-12 11:28:23 2298 3

原创 Python编程:使用uuid库生成唯一ID

UUID: Universally Unique IDentifier是128位的全局唯一标识符,通常由32字节的字符串表示,它可以保证时间和空间的唯一性 它通过MAC地址、时间戳、命名空间、随机数、伪随机数来保证生成ID的唯一性。 UUID主要有五个算法,也就是五种方法来实现: uuid...

2018-09-11 10:16:06 753 0

原创 Python编程:uWSGI+nginx配置flask实例

uWSGI简单理解为:Web服务器 安装模块 pip install uwsgi pip install uwsgitop # 监控模块 uWSGI测试 # foobar.py def application(env, start_response): start_respo...

2018-09-10 19:50:20 148 0

原创 Python编程:uWSGI配置报错ModuleNotFoundError: No module named 'flask'

flask的uwsig.ini配置文件如下: [uwsgi] socket = 127.0.0.1:3031 wsgi-file = flask_web.py callable = app processes = 4 threads = 2 stats = 127.0.0.1:9191 启...

2018-09-10 19:36:51 4370 0

原创 Python编程:WSGI、uwsgi、uWSGI的关系

WSGI : Web Server Gateway Interface(Web服务器网关接口)Web服务器(如nginx)与应用服务器(如uWSGI)通信的一种规范(协议) uwsgi: uWSGI服务器的独占通信协议, uwsgi是一种线路协议而不是通信协议,在此常用于在uWSGI服务器与其他...

2018-09-10 17:56:27 214 0

原创 Python编程:namedtuple命名元组和dict字典相互转换

from collections import namedtuple dct = { "name": "Tom", "age": 24 } Person = namedtuple("Person",...

2018-09-08 17:55:49 2513 0

原创 Python爬虫:execjs在python中运行javascript代码

execjs可以在python中运行javascript代码 安装 $ pip install PyExecJS 示例 import execjs execjs.eval("new Date()") # u'2018-09...

2018-09-08 17:16:52 6773 0

原创 ImportError: No module named Crypto.Cipher

阅读公司的接口代码,发现有如下代码 from Crypto.Cipher import AES 报错: ImportError: No module named Crypto.Cipher 解决方法: pip install pycrypto 如果还是报错, 找到安装目录是...

2018-09-08 17:06:19 5159 0

原创 requests InsecureRequestWarning: Unverified HTTPS request is being made.

使用requests的时候报错: .virtualenvs/py3/lib/python3.6/site-packages/urllib3/connectionpool.py:858: InsecureRequestWarning: Unverified HTTPS request is be...

2018-09-07 20:36:45 1114 0

原创 Django返回json数据

两种方法: 方式一: 返回json字符串 import json from django.http.response import HttpResponse def demo(request): return HttpResponse(json.dumps(dct)) 方式...

2018-09-07 18:55:27 3588 0

原创 flask开启局域网访问

flask默认开启的网站是本地的:127.0.0.1:5000 现在把已经有的本机访问改成局域网访问: app.run(host=’0.0.0.0’, port=8080) 现在就可以通过本机ip+port的方式访问网站了 参考: flask局域网访问网站 ...

2018-09-07 18:51:03 6296 2

原创 Javascript:jQuery的ajax请求get请求模板

$.ajax({ type: "GET", url: "/json", d...

2018-09-07 15:57:10 1096 0

原创 js:数组、对象序列的遍历迭代

列表的迭代 var nums = [3, 2, 3, 4]; nums.forEach(function(value, index, array){ //执行某些操作 }); /** *其中匿名函数为每一项要执行的函数;thisArg省略 * 匿名函数中 value为每一项的值,如3...

2018-09-07 15:54:50 366 0

原创 js:jquery追加新元素到指定元素之后

$("#id").append("<p class='three'>我是子元素append</p>"); 参考: js追加元素的几种方法

2018-09-07 15:47:14 3465 0

原创 js: json的序列化和反序列化

parse用于从一个字符串中解析出json对象,如 var str = '{"name":"huangxiaojian","age":"23"}' // 结果: JSON.parse(st...

2018-09-07 15:43:53 970 0

原创 Error: 待解决bug

2018-09-07 scrapy启动的时候异常,但是不影响后面运行 UserWarning: cookielib bug

2018-09-07 10:41:16 101 0

原创 peewee: OperationalError: (2006, ‘MySQL server has gone away’)

MySQL默认长链接只能保持8小时,超过后就会自动断开。 peewee报错: OperationalError: (2006, ‘MySQL server has gone away’) 在peewee中如何维持长连接,可以如下操作: from peewee import MySQLD...

2018-09-06 12:03:32 918 0

原创 Python爬虫:使用httpbin.org测试爬虫请求头信息

地址:https://httpbin.org/ 如果网站太慢打不开,想在本地搭建测试环境,可以在docker环境下启动: $ docker run -p 80:80 kennethreitz/httpbin 不过简单测试就没必要折腾了,直接访问:https://httpbin.org/get...

2018-09-06 09:46:29 2697 0

原创 Git: Cannot update paths and switch to branch 'feature' at the same time.

拉取远程分支: git checkout -t origin/feature 报错如下 fatal: Cannot update paths and switch to branch 'feature' at the same time. Did you intend t...

2018-09-04 14:53:21 1310 0

原创 Python编程:import导入不同目录的模块

测试的目录如下: root ├── module_root.py ├── package_a │ ├── child │ │ ├── __init__.py │ │ └── child_a.py │ ├── module.py │...

2018-09-04 13:25:33 983 0

原创 Python编程:数据库分页取数据

def paginate(page, paginate_by=20): """ 表分页 """ if page...

2018-09-04 09:51:42 1726 0

原创 UnicodeEncodeError: 'ascii' codec can't encode characters

python2代码 import hashlib hashlib.md5("北京朝阳区").hexdigest() 报错 hashlib.md5("北京朝阳区").hexdigest() UnicodeEncodeError: 'ascii...

2018-09-03 17:33:02 251 0

原创 JAVA编程:i=i++的理解

i++和++i已经见过很多次了,来看个i=i++ // j = i++ class Demo{ public static void main(String[] args) { int i = 3; int j = i++; ...

2018-09-03 09:56:11 120 0

原创 错误: 编码GBK的不可映射字符

JAVA文件在cmd命令行中使用javac命令编译的时候报错: 错误: 编码GBK的不可映射字符 解决办法: 编译的时候指定字符集 javac -encoding UTF-8 XXX.java 参考: CMD运行JAVA出现编码GBK的不可映射字符处理方法 ...

2018-09-02 21:54:51 309 0

提示
确定要删除当前文章?
取消 删除