- 博客(8)
- 资源 (21)
- 收藏
- 关注
原创 Redis缓存数据库基本介绍
介绍 redis是业界主流的key-value nosql 数据库之一。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,red...
2018-05-30 09:57:08 18557
原创 scrapy操作系统无法运行1%
出现:ImportError: DLL load failed: 操作系统无法运行1% 可以用pip安装如下包pip install -I cryptography
2018-05-09 16:29:02 22273 1
原创 scrapy配置proxy代理
一、IP池IP可以从这个几个网站获取: 快代理:https://www.kuaidaili.com/free/ 西刺代理:http://www.xicidaili.com/ 如果出现像下面这种提示:”由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败”或者是这种,” 由 于目标计算机积极拒绝,无法连接。”. 那就是IP的问题,更换就行了。。。。发现上面好多IP都不能用。...
2018-05-09 10:36:39 28817 3
原创 python的urllib.parse用法
urllib.parse解析url:urllib.parse.urlparse(url, scheme='', allow_fragments=True)简单的使用: urlparsefrom urllib import request, parse2 #解析urlprint(parse.urlparse('https://movie.douban.com/'))print(p...
2018-05-08 18:28:53 43544 1
原创 Tornado
Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像web.py 或者 Google 的 webapp,不过为了能有效利用非阻塞式服务器环境,这个 Web 框架还包含了一些相关的有用工具 和优化。Tornado 和现在的主流 Web 服务器框架(包括大多数 Python 的框架)有着明显的区别:它是非阻塞式服务器...
2018-05-03 16:37:50 22019
原创 MongoDB数据库操作和Pymongo
一、MongoDB介绍MongoDB 是一个是一个基于分布式文件存储的数据库,介于关系数据库和非关系数据库之间,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数...
2018-05-03 15:05:10 23753
原创 Selenium和PhantomJS
1,SeleniumSelenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。Selenium 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。...
2018-05-03 11:01:36 21731
原创 解决lxml中没有etree的问题
在使用爬虫是:from lxml import etree时报错,没有etree这个库,这是因为有的lxml包中没有集成etree 解决方法:可以自己再选择安装带etree的lxml,我的Python是3.6,下载的etree是4.2.1 下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载后执行下图代码不报错说明安装成功 etree使...
2018-05-02 15:29:03 45903
C++编程思想
2018-04-19
Android高级进阶
2018-04-19
深入理解android内核设计思想
2018-04-19
Android 源码设计模式解析与实战
2018-04-19
移动应用ui设计模式
2018-04-16
Android开发艺术探索
2018-04-16
Android编程权威指南
2018-04-16
精通C#第六版
2018-04-16
数据结构与算法分析 java描述
2018-04-16
Python算法教程
2018-04-16
模式识别MATLAB实现
2018-03-17
精通CSS高级web标准解决方案
2018-03-17
高性能网站建设进阶
2018-03-17
python基础教程
2018-03-17
Node入门必备
2018-03-17
HTML与CSS经典入门
2018-03-17
C++ GUI Qt4编程
2018-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人