自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Python爬虫——Scrapy框架的基本使用

Scrapy基本用法 1.选取目标站点 目标站点分析 http://quotes.toscrape.com/:scrapy官方提供的抓取网站 显示名人名言,作者,标签等信息 翻页为最简单的GET请求,通过改变URL的名称进行翻页 网页结构简单,没有任何的反爬虫措施 2.流程框架 抓...

2019-06-12 21:43:08

阅读数 158

评论数 0

原创 Python爬取未上映电影的豆瓣评分及评论

 在豆瓣电影中,未上映电影的点映综合评分是不显示的,就需要爬取所有的评分取平均值,也可爬取用户和评论。 这里选取未上映的流浪地球 import requests from bs4 import BeautifulSoup names,stars,texts=[],[],[] ch = {&...

2019-01-28 11:25:16

阅读数 206

评论数 0

原创 Python爬虫——Selenium库的基本使用

自动化测试工具,支持多种浏览器。 爬虫中主要用来解决JavaScript渲染的问题 基本使用 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver...

2019-01-23 16:38:02

阅读数 2524

评论数 2

原创 Python爬虫——PyQuery库的基本使用

目录 初始化 字符串初始化 URL初始化 文件初始化 基本CSS选择器 查找元素 子元素 父元素 兄弟元素 遍历 单个元素 获取信息 获取属性 获取文本 DOM操作 addClass、removeClass attr、css remove 其他DOM方法 伪...

2019-01-21 20:16:09

阅读数 1228

评论数 0

原创 Python爬虫——BeautifulSoup库的基本使用

目录 基本使用 标签选择器 选择元素 获取名称 获取属性 获取内容 嵌套选择 子节点和子孙节点 父节点和祖先节点 兄弟节点 标准选择器 name attrs 用attrs: 不用attrs(更加方便): text find(name,attrs,recursive...

2019-01-20 17:22:06

阅读数 1242

评论数 0

原创 Python爬虫——requests库的基本使用

目录 什么是Requests——Python实现的简单易用的HTTP库 实例引入 请求 基本GET请求 基本写法 带参数的GET请求 解析json 获取二进制数据 添加headers 基本POST请求 响应 response属性 高级操作 文件上传 获取cookie ...

2019-01-19 16:27:27

阅读数 1819

评论数 0

原创 Python爬虫——urllib库的基本使用

目录 什么是Urllib    urlopen 以GET形式发送请求,获取响应体的内容 以POST方式发送请求 判断错误类型是否为超时 响应(response) 响应类型 状态码,响应头 Request(传递Headers) 结果与例一一致 方法一 方法二 HANDLER...

2019-01-18 20:46:04

阅读数 1305

评论数 0

原创 爬虫基本原理和概念

目录   爬虫基本流程 1.发起请求 2.获取相应内容 3.解析内容 4.保存数据 Request&Response Request中包含什么 1.请求方式 2.请求URL(统一资源定位符) 3.请求头(请求的配置信息) 4.请求体 Response中包含...

2019-01-17 19:59:05

阅读数 1329

评论数 0

原创 用Quicker快速搭建工作环境

最近在知乎上发现了一个快捷面板软件Quicker,它能快速找到并打开程序软件,更重要的是它有极强的扩展性,包括模拟键鼠,与软件进行交互,甚至是完成一些自动化的工作,下面以我搭建日常编程时的工作环境为例来展示此软件的方便。此次操作在win10环境下运行。 一般情况下,需要手动打开sublime和命...

2018-12-23 21:54:05

阅读数 2471

评论数 0

原创 Python SMTP发送邮件

在学习用SMTP发送邮件时遇到了很多的异常,经多次修改后终于能发送出去了,现将代码和方法贴出来一起交流学习。 首先,要确保邮箱中的STMP协议是打开的,还有要留意该邮箱的SMTP服务器地址。 import smtplib from email.mime.text import MIMET...

2018-12-22 21:38:23

阅读数 1237

评论数 0

原创 Python多线程有趣的例子——龟兔赛跑

import threading,time print('turtle',' rabit') def rabit(): x=0 fuck=0 while(x<100): if(x==40 and fuck==0): for i in...

2018-11-25 22:09:30

阅读数 1870

评论数 0

原创 有趣的python小程序

密码生成器 x=int(input()) print(''.join(__import__('random').choice('QWERTYUIOPASDFGHJKLZXCVBNMqwertyuiopasdfghjklzxcvbnm!@#$%...

2018-08-21 10:17:53

阅读数 9879

评论数 0

原创 Python小型算法题集锦

Python的一些算法练习题 每天做一些算法题,并要求自己尽量地简化代码,在此记录下来,如果有更好或新颖的建议也欢迎提出。本博客会不定时更新。 1.质因数分解 2.打印字母排列的菱形 1.质因数分解 如435234=251*17*17*3*2 x=int(input('...

2018-08-04 22:20:05

阅读数 3263

评论数 0

原创 Python——爬取B站科技区排行并把数据存入Excel

Python——爬取B站科技区排行并把数据存入Excel 本代码可将B站的科技区的top100爬取下来,并将其数据存储到Excel文件中,可用于多种场合。 需要的库: - requests 用于请求连接到特定网站 - BeautifulSoup 分析,处理得到的HTML代码 ...

2018-07-31 21:54:50

阅读数 2025

评论数 0

提示
确定要删除当前文章?
取消 删除