XPath笔记 --留存

常用的 : ①、/节点1/节点2.../节点n   :获取这个全路径下所有名字为 节点n的节点,返回一个集合 ②、child::book  :选取所有属于当前节点的子元素的 book 节点   RT,学习一篇博客所做的笔记,留做存根 参考原文:https://blog.csd...

2018-11-15 16:29:38

阅读数 54

评论数 1

GitHub 使用命令上传项目、下载项目

一、创建github repository(仓库) 1-1 登录github 1-2 创建repository(仓库) 如果没在这个页面也没关系,点击右上角的头像旁边的小三角,展开后可以看到Your profile,点击进入后也能看到repository 切换到repository...

2018-11-14 20:57:15

阅读数 175

评论数 0

scrapy-redis去重优化(Scrapy+Redis+Bloomfilter)附Demo福利

背景: 前些天接手了上一位同事的爬虫,一个全网爬虫,用的是scrapy+redis分布式,任务调度用的scrapy_redis模块。 大家应该知道scrapy是默认开启了去重的,用了scrapy_redis后去重队列放在redis里面。我接手过来的时候爬虫已经有7亿多条URL的去重数据了,再加上...

2018-11-13 22:38:44

阅读数 534

评论数 0

mysql主从复制

mysql主从复制 (超简单) 怎么安装mysql数据库,这里不说了,只说它的主从复制,步骤如下: 1、主从服务器分别作以下操作:   1.1、版本一致   1.2、初始化表,并在后台启动mysql   1.3、修改root的密码 2、修改主服务器master:    #vi /etc/my....

2018-11-12 15:05:30

阅读数 31

评论数 0

什么是 RESTful ?、RESTful API?

一、要弄清楚什么是RESTful API,首先要弄清楚什么是REST。REST -- REpresentational State Transfer,英语的直译就是“表现层状态转移”。如果看这个概念,估计没几个人能明白是什么意思。 restFul是符合rest架构风格的网络API接口,完全承认H...

2018-11-10 21:43:57

阅读数 76

评论数 0

安装Jupyter Notebook过程及出错解决方案

1、直接安装:pip3 install jupyter 2、jupyter notebook 3、①报错: 解决:重新安装一下iPython ②如果报错没有:prompt-toolkit文件 因为在安装时报错,给卸掉了 解决:安装一下即可 4、再运行 5、同时,...

2018-11-08 12:32:04

阅读数 531

评论数 0

Python爬虫---数据的提取和清洗的正则应用规则

最近在做一个项目,爬虫获取的数据可谓一锅粥,果断选择了正则表达式,下面是常用的规则: 表达式全集 字符 描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如,“n”匹配字符“n”。“\n”匹配一个换行符。串行“\\”匹配“\”而“\...

2018-11-05 13:18:50

阅读数 134

评论数 0

HTTP协议对应的状态码及其含义

HTTP状态码(HTTP Status Code)   一些常见的状态码为:   1xx(临时响应)表示临时响应并需要请求者继续执行操作的状态代码。代码 说明   100 (继续) 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分。   101 (切换协...

2018-11-05 11:15:51

阅读数 190

评论数 0

爬虫-- 分布式 Erlang 、RabbitMQ 和Celery 的安装

分布式:多台服务器处理一个任务 分布式爬虫 使用Celery + RabbitMQ  实现,而且 RabbitMQ 是基于Erlang 安装的 一、安装erlang  rabbitmq (1)windows下安装 1、先安装erlang  otp_win64_21.1  直接默认路径,不...

2018-10-30 20:07:49

阅读数 78

评论数 0

五十八、四、Django框架中配置使用mysql

mysql命令的回顾: 注意:django框架不会自动生成mysql数据库,所以需要手动去创建。 1、打开wamp软件,开始创建mysql数据库: 2、进入虚拟环境创建django项目: 3、进入项目创建应用 4、注册刚刚创建的应用: 5、修改set...

2018-09-11 21:51:35

阅读数 35

评论数 0

五十七、视图、模板配合使用,缺一不可、MVT综合案例

一、视图函数的使用 注意:视图函数必须有一个参数request,进行处理之后,需要返回一个HttpResponse的类对象, hello python就是返回给浏览器显示的内容。 1、在项目的views.py 文件中写入函数 2、进行url配置:建立url地址和视图的对应关系 在应用...

2018-09-11 21:30:26

阅读数 55

评论数 0

五十六、创建Django项目步骤、Django后台管理

1、windows下在桌面的路径(在自己指定的路径shift+打开命令窗口)或者 cd 路径 进入虚拟环境(workon 名称)--创建项目名称 test1 2、进入根目录test1: 3、创建分个应用(模块)例如自己定义名字--booktest     manage.py是管理文件...

2018-09-10 22:04:07

阅读数 88

评论数 0

五十五、windows和Linux下虚拟环境的创建和使用

一、问题: 安装同一个包的不同版本,后安装的包会把原来安装的包覆盖掉。这样,如同一台机器上两个项目依赖于相同包的不同版本, 则会导致一些项目运行失败。 解决的方案就是:虚拟环境。 虚拟环境是真实python环境的复制版本。 在虚拟环境中使用的python是复制的python,安装pyth...

2018-09-10 21:28:19

阅读数 41

评论数 0

五十四、mysql数据库8:MySQL内置函数 — 日期时间函数、加密sha1

一、日期时间函数 1、获取子值 2、日期计算,使用+-运算符,数字后面的关键字为year、month、day、hour、minute、second 3、日期格式化date_format(date,format) 4、当前日期current_date() 5、当前时...

2018-08-26 15:47:04

阅读数 110

评论数 0

五十三、Redis数据库3:使用pycharm软件写命令操作redis

一、参考学习: PyPI:https://pypi.python.org/pypi/redis GitHub:https://github.com/andymccurdy/redis-py 1、(重点学习)文档:http://redis-py.readthedocs.io/en/latest...

2018-08-26 14:26:25

阅读数 355

评论数 0

五十二、Redis 数据库 2:set类型、zset类型、hash类型

一、set集合类型(无序集合类型) redis里面的set集合类型是string类型的无序集合,被称为无序集合类型。 set元素最大可以包含(2的32次方-1)个元素。 1、集合满足三个特点: 无序性:集合里面的数据是没有顺序之分。 唯一性:集合里面的数据彼此是不能重复。 确定性:集合...

2018-08-25 22:30:27

阅读数 175

评论数 0

五十一、Redis数据库1:Redis数据库string类型、 list链表类型

一、数据库连接 直接本机连接:redis-cli 连接虚拟机:  redis-cli  -h  虚拟机ip地址 -p  6379 二、相关操作 Redis:内存缓存,key/value形式的 1、设置key及value 注意:username这个key没有的话会创建,有的话,就会覆...

2018-08-25 21:57:02

阅读数 45

评论数 0

五十、MongoDB数据库2:Python操作MongoDB数据库

一、安装pymongo库 pymongo是操作MongoDB的python模块 Python2的安装方法:python2 -m pip install pymongo Python3的安装方法:python3 -m pip install pymongo linux下的安装方法: sudo...

2018-08-25 20:28:05

阅读数 75

评论数 0

四十九、MongoDB数据库1:MongoDB的增、删、改、查

一、连接数据库 如果只在windows下使用:进入数据库命令:mongo 如果windows要连接虚拟机(服务器),命令:mongo  服务器IP地址:27017 Mongodb ‘无状态模式’,不用去设计,直接用,存什么东西,取决于前边传什么,后边就存什么。 中文文档:http://do...

2018-08-25 20:09:43

阅读数 72

评论数 0

四十八、mysql数据库7:Mysql与python的交互、参数化(重点python与mysql交互传参)

一、使用python命令连接数据库流程 二、python3 安装pymysql包 创建py文件,进行插入数据:通过python文件来连接数据库实现交互(前提需要安装pymysql包) 1、Linux下安装pymysql包 在python3的环境下安装pymysql包:pip3 inst...

2018-08-25 19:16:38

阅读数 1262

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭