自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 xhr

xhr数据请求流程 1.前端初始化xhr对象,设置请求方法:get方法,post方法,form方法, 以及请求接口 open() 此时xhr.readyState=0 开始发送数据到后台 send() <body> &lt...

2018-09-03 19:44:24

阅读数 520

评论数 0

原创 Windows上node.js的安装与使用

一、node.js的下载与安装 1.下载网址:http://nodejs.cn/download/ ,你可以根据不同平台系统选择你需要的Node.js安装包,我这里下载的是windows64位的.msi安装程序,其他系统的安装步骤请看菜鸟教程:http://www.runoob.com/node...

2018-08-29 21:42:43

阅读数 49

评论数 0

原创 Python之分布式爬虫的实现步骤

什么是分布式爬虫? 默认情况下,scrapy爬虫是单机爬虫,只能在一台电脑上运行,因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的,其他电脑无法访问另一台电脑上的内存中的内容。分布式爬虫是一个用共同的爬虫程序,同时部署到多台电脑上运行,这样可以提高爬虫速度,实现分布式爬虫。 ...

2018-08-29 18:48:18

阅读数 1271

评论数 0

原创 python之windows中redis数据库的安装

Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点:     1.Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。     2.Redis不仅仅...

2018-08-14 10:22:00

阅读数 110

评论数 0

原创 python之如何发送邮件

今天来讲一下python如何发送邮件,以163和qq邮箱为例。 要想实现使用python代码发送邮件,邮箱必须开启POP3/SMTP协议,开启之后邮箱会给你生成一个授权码 注意:这个授权码一定要记住,以后使用代码实现发送邮件登陆的时候,使用的都是这个授权码 qq邮箱的POP3/SMTP协议开...

2018-08-11 17:49:17

阅读数 529

评论数 0

原创 Python phantomjs

PhantomJS是一个可编写脚本的无头网页浏览器。它运行在Windows,macOS,Linux和FreeBSD上。 使用QtWebKit作为后端,它为各种Web标准提供快速和本机支持:DOM处理,CSS选择器,JSON,Canvas和SVG, PhantomJS的用处可谓非常广泛,诸如网络...

2018-08-09 20:27:04

阅读数 396

评论数 0

原创 Python MySQL的安装

MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策,分为社区版和商业版,由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,一般中小型网站的开发都选择 MySQL 作为网站数据库 MySQL的下载地址:https://www.mysql...

2018-08-09 10:41:30

阅读数 77

评论数 0

原创 Python 获取网页标签中的全部文本的几种方法

上一篇文章讲述了一下scrapy框架的安装与简单使用,今天呢,就基于scrapy框架来给大家讲述一下如何获取网页标签中的全部文本。 首先创建一个scrapy框架项目,至于如何创建,不知道的小伙伴们请看我的上一篇文章。 目标是百度贴吧,目标网址:https://tieba.baidu.com/p...

2018-08-04 10:39:02

阅读数 7789

评论数 2

原创 Pthon Scrapy框架的安装与使用

网络爬虫,是在网上进行数据爬取的程序,使用它能够抓取特定网页的html数据,我们可以在一个py文件中引入一个又一个的模块来进行爬取,但使用框架可以更快速的来帮助我们爬取数据,提高爬取效率。Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 今天...

2018-08-01 22:28:08

阅读数 253

评论数 0

原创 python 字符串操作

字符串是Python中很常用的一种数据类型,今天就来给大家讲一下有关字符串的一些基本操作 首先介绍一下字符串,什么是字符串呢?字符串顾名思义,就是一串字符连接在一起,称之为字符串 字符串的定义: str = '我是字符串12345abcd' 在引号里面写的内容,不管是什么都是字符串  ...

2018-07-31 21:11:11

阅读数 31

评论数 0

原创 python 数据库操作

  实际开发过程当中,数据的存储过程主要有三种: 1.将数据存储到内存当中 优点:使用方便,读写速度快  缺点:程序关闭的时候 内存释放 数据消失   2.将数据写到文件当中  优点:数据存储是永久性的,不易丢失 缺点:打开关闭文件 操作数据比较麻烦 3.将数据存储到数据库当中 优点...

2018-07-30 22:23:53

阅读数 43

评论数 0

原创 python bs4 BeautifulSoup用法

上一篇文章讲了一些xpath的基本用法,现在来介绍一下bs4,bs4也是一个第三方库 需要引入,bs4是 第三方库  和xpath作用一样,都是用来解析html数据,相比之下,xpath的速度会快一点,xpath底层是用c来实现的 引入语法: from bs4 import Beautifu...

2018-07-30 21:49:09

阅读数 276

评论数 0

原创 python xpath用法

xpath在Python的爬虫学习中,起着举足轻重的地位,对比正则表达式 re两者可以完成同样的工作,实现的功能也差不多,但xpath明显比re具有优势,在网页分析上使re退居二线。 xpath的简单用法: import requests # 引入xpath模块 from lxml impo...

2018-07-30 21:07:35

阅读数 1094

评论数 1

原创 python txt文件,xls文件,csv文件的创建

这篇文章主要讲一下txt文件,xls文件,csv文件的创建与读写操作 一、txt文件 f = open('文件名','操作r 读,w写,a添加',encoding='utf-8') 值1:写入的文件 如果有这个文件就直接写入,没有这个文件就创建 值2:对文件操作的方式 w 表示write 写...

2018-07-30 19:55:05

阅读数 2077

评论数 0

原创 Python selenium安装与应用

今天来给大家介绍一下selenium的安装与使用 一、首先介绍一下selenium:python中常用selenium爬取动态渲染网页,selenium是一个自动化测试工具,在python中应用为: 1. selenium可以完全模拟浏览器操作,对动态数据进行获取,动态数据是由代码生成,在页面...

2018-07-30 19:15:13

阅读数 95

评论数 0

原创 Python爬取糗事百科

上一篇文章简单介绍了一下正则的基本语法,今天这篇文章就讲一个用正则来爬取糗事百科的例子 一、引入模块 因为urlopen功能比较简单,所以设置代理ip需引入ProxyHandler和build_opener模块,ip的获取可以上西祠代理查询 import re from urllib.re...

2018-07-30 10:04:20

阅读数 75

评论数 0

原创 Python正则表达式

最近花时间学习了些简单的正则知识,我将了解到的知识总结在本文中,希望对大家有所帮助 什么是正则表达式:正则表达式可以判断字符串是否符合特定的要求,我们可以通过正则表达式来从字符串中获取我们想得到的特定的部分 正则表达式 由一些普通字符和一些元字符(metacharacters)组成。普通字符包...

2018-07-18 21:42:01

阅读数 41

评论数 0

原创 写Python的时候遇到的一些常见的错误

1. SyntaxError: 'return' outside function 解决:将return放在方法体中 return不能在方法以外使用 2. TypeError: must be str, not int 类型错误 必须是一个字符串 不能是数字 解决办法:使用+拼接的时候 必须使用...

2018-07-10 21:32:14

阅读数 187

评论数 0

提示
确定要删除当前文章?
取消 删除