2017年10月_MonCheri_Flowers

原创 python安装selenium

命令行输入：pip install selenium进入python3.6下:import seleniumfrom selenium import webdriverdriver = webdriver.Chrome()报错：FileNotFoundError: [WinError 2] 系统找不到指定的文件。selenium.common.exception

2017-10-30 17:42:48 899

原创 BeautifulSoup库的使用

灵活方便的网页解析库，处理高效，支持多种解析器是python的一个库，通过解析文档为用户提供需要抓取的数据自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。不用编写复杂的正则表达式提取网页信息（代替正则）安装：pip35 install beautifulsoup4pip35 install lxml# lxml解析器更加强大，速度更快pip35 in

2017-10-30 15:50:21 474

原创 python正则表达式

最近做爬虫，把python基础的正则表达式又重新过了一遍。常规匹配import recontent = 'Hello 123 4567 World_this is a regex Demo'print(len(content))result = re.match("^Hello\s\d\d\d\s\d{4}\s\w{10}.*Demo$", content)pr

2017-10-30 10:57:13 428

原创 Requests库的使用

基于urllib3改写的，API更加方便, 简单易用几句代码实现代理、cookie... 设置请求方式requests.post('http://httpbin.org/post')requests.delete('http://httpbin.org/delete')requests.put('http://httpbin.org/put')requests.header('h

2017-10-28 22:09:14 392

原创 urllib库的使用

urllib库是python内置的http请求库四个模块urllib.request ：请求模块urllib.error：异常处理模块urllib.parse ： url解析模块工具模块, 提供了很多处理方法：拆分、合并...urllib.robotparser ： robots.txt解析模块(用的不是很多)判断哪些网站是可以爬的那些不可以

2017-10-28 20:35:15 454

原创 jinja2.exceptions.UndefinedError: 'app.models.Admin object' has no attribute 'role'

最近写项目遇到这样的问题：jinja2.exceptions.UndefinedError: 'app.models.Admin object' has no attribute 'role'解决方法：这个问题找了好久，才发现是models.py里面Role中少了字段，加上就好了roles = db.relationship("Admin", backref='role')

2017-10-21 08:21:16 2571

原创 CSS选择器的使用

获取标题>>> response.css(".entry-header h1").extract()['写代码容易，编程并不容易']>>> response.css(".entry-header h1::text").extract()['写代码容易，编程并不容易']获取时间create_time = response.css("p.entry-meta-hide-on-mob

2017-10-13 09:45:23 442

原创 xPath用法

最近看视频学习，用xPath爬取网页上的内容信息，做了以下笔记。效率高：命令行：scrapy shell http://blog.jobbole.com/112585/获取标题title = response.xpath('//div[@class="entry-header"]/h1/text()')>>> title.extract()['写代码容易，编程

2017-10-12 15:46:19 2341

原创 scrapy的安装和创建

安装scrapy新建虚拟环境article_spider安装scrapy安装报错：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build

2017-10-11 23:48:50 361

原创 xPath语法

xPathXPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。使用路径表达式在xml和html中进行导航包含标准函数库(语法强大)xPath是一个w3c的标准节点一个标签就是一个节点。语法表达式说明article选取所有article元素的所有子节点

2017-10-11 20:23:41 429

原创 shell常用工具

脚本的调试-n 读一遍脚本中的命令但不执行，用于检查脚本中的语法错误-v 一边读脚本，一边把执行过的脚本命令打印到标准错误输出-x 可以在程序中设置调试某一段grep 基本正则（+E可成扩展正则）egrep 扩展正则shell编程常用工具：grep 根据文件内容无过滤find 根据文件名\文件类型awk 列处理工具sed 行处理工具x

2017-10-07 10:56:35 514

原创 shell的输入输出

echoecho是文本行或变量/ 把字符串输入到文件echo [option] string-e 解析转义字符、-n 不换行，默认echo内容后跟一个回车换行python@ubuntu:5$ echo "dimples\n\n"dimples\n\npython@ubuntu:5$ echo -e "dimples\n\n"dimplespython@ubu

2017-10-06 01:57:03 329

原创 shell位置参数和特殊变量

常见的位置参数和特殊变量：$0 ./t8.sh$1、$2... 位置参数 $# 表示参数有多少个$@ 可以用在for循环中的in后面$* 表示参数列表"$1" "$2"..$？上一条命令的执行结果$$ 当前进程号$1#! /bin/shecho $0echo $1echo $2echo $3python@ubuntu:5$ chmod a+x t8.sh

2017-10-06 00:58:49 372

原创 shell脚本语法

条件测试：test [-测试一个条件是否成立，如果结果为真，则结果=0如果结果为假，则结果=1python@ubuntu:~/1004$ var=2python@ubuntu:~/1004$ test $var python@ubuntu:~/1004$ echo $?0python@ubuntu:~/1004$ test $var -gt 5python@ubu

2017-10-06 00:25:18 514

原创 shell变量

变量环境变量printenv本地变量python@ubuntu:~/0829$ diner='dimples'python@ubuntu:~/0829$ set | grep "diner"diner=dimples把本地变量变成环境变量：python@ubuntu:~/0829$ export dinerpython@ubuntu:~/0829$ e

2017-10-04 19:07:03 221

原创 redis高级

发布订阅消息的格式推送消息的格式包含三部分subscribe : 表示订阅成功unsubscribe : 取消订阅成功message : 表示其他终端发布消息如果第一部分为subscribe，第二部分是频道，第三部分是现在订阅的频道的数量如果第一部分为unsubscribe，第二部分是频道，第三部分是现在订阅的频道的数量,如果为0，表示当前没有订阅任何频道，当在

2017-10-01 14:29:25 626

原创 redis数据操作

数据操作redis是键值对的数据键的类型是字符串值的类型有以下几种：字符串hashlistset有序集合zsetString最大存储512MB数据二进制安全的(任何数据：数字、图片、序列化)设置设置键值set key value设置键值set key value设置键值set key valuepython@u

2017-10-01 00:54:03 376

Dimples_54的博客