dawning_zyh-CSDN博客

转载 python 安装scrapy 出现 no module service_identity问题解决办法

https://www.jianshu.com/p/f11c1ff27e23

2018-08-15 14:41:13 1590

原创包

#coding:utf-8# 如果想要使用model.py文件中的函数，需要引入这个文件# 模块文件import model# 调用model中run函数# 模块名.函数名调用函数model.run()# 从model文件中引入run函数from model import run# 直接使用run调用函数run()# from selenium import webdriv

2017-09-24 17:44:31 204

原创 cookie和session

cookie和session的区别：1.cookie是存放客户端浏览器中，session存放在服务器端2.一般不会使用cookie保存用户名和密码等敏感信息，因为浏览器存储之后，可以通过工具获取到cookie，一旦cookie被捕获，则这些信息就会暴露,可以用来存储登录状态、sid、访问记录....3.session相对来说比cookie安全性高，可以存放账号密码等敏感信息，而且还可以存储一

2017-09-24 17:18:04 199

原创反爬虫措施

反爬虫措施：1.一般网站对请求头进行筛选，如果发现是python，说明该请求是一个爬虫程序，进行限制访问伪装请求头，完全模仿浏览器发请求2.网站会对发起请求的ip做判断，如果某个ip发送了大量的请求，说明该请求是爬虫程序发起的，进行限制或者封杀使用ip代理，隔一段时间换个IP地址3.频繁访问某个网站，有的网站也会进行限制爬取的过程中，间隔一定的时间

2017-09-24 17:03:32 510

原创 mysql索引的操作

1.索引的分类①普通索引和唯一索引普通索引：是mysql中基本的索引类型，允许在定义索引的列中插入重复值和空值。唯一索引：索引列的值必须唯一，但允许有空值。如果是组合索引，则列值的组合必须唯一。主键索引是一种特殊的唯一索引，不能为空值。②单列索引和组合索引单列索引即一个索引只包含单个列，一个表可以有多个单列索引。组合索引指在表的多个字段组合上创建的索引，只有在查询条件中

2017-09-14 20:17:32 212

原创 mysql命令（数据表和数据的操作）

1.连接数据库mysql （-h 数据库地址） -uroot -p2.显示数据库show databases；3.创建数据库和删除数据库create database 数据库名称；（创建数据库）drop database 数据库名称；（删除数据库）4.使用数据库use 数据库名称；5.显示数据库中的所有表show tables；6.创建表在数据库中

2017-09-13 19:47:20 682

原创 scrapy pipeline 同步和异步写入数据库

# 异步写入mysql数据库from twisted.enterprise import adbapifrom MySQLdb import cursorsclass MysqlTwistedPipeline(object): #这个函数会自动调用 @classmethod def from_settings(cls,settings):

2017-09-12 22:20:26 4409 2

原创 cookie

#coding:utf-8# 什么是cookie？# 浏览器保存在本地终端上的一段代码，一般用来存储用户的登录状态，登录后的sid等数据...,可以利用cooke信息访问需要登陆后才能查看的页面import urllib2# 用来管理cookie的包import cookieliburl = 'http://www.baidu.com'# 把cookie信息保存到内存中-------

2017-08-26 11:01:53 188

原创 scrapy创建爬虫项目

1.打开cmd命令行工具，输入scrapy startproject项目名称2.使用pycharm打开项目，查看项目目录3.创建爬虫，打开CMD，cd命令进入到爬虫项目文件夹，输入scrapy genspider爬虫文件名爬虫基础域名4.打开pycharm，发现spider目录下多出一个bole.py文件

2017-08-26 10:36:15 479

原创 python虚拟环境的配置

Python虚拟环境的安装和配置(windows) 1.先在电脑上将python2.7和python3.5版本安装完成，并一定要记清楚安装路径 2.配置系统环境变量中的path路径，添加路径的版本即为默认使用版本 3.在命令行工具中输入pip install virtualenv 下载python虚拟环境 4.在使用pip下载包时，经常会出现超时等情况，可以使用国内镜像提高下载速度，例如豆

2017-08-26 10:22:47 224

dawning_zyh的博客