自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 2.3 案例5:爬取某糗事内容

课前说明:本章节请求的 url 部分用 ** 代替 爬虫分三个模块:        1、请求模块:用于构造请求体,并将请求到的网页(数据)返回给解析模块;        2、解析模块:用于提取数据(本章节用xpath提取网页中的数据),并返回数据给存储模块;        3、存储模块:将...

2019-01-15 16:02:17 71 0

原创 2.2 案例4:爬取网页图片并下载到本地

课前说明:本章节请求的 url 部分用 ** 代替 本章节需要掌握的知识点: 1、用 js 代码模拟下拉动作:     document.documentElement.scrollTop= %d   %d表示下拉的幅度 2、如何使用 redis 数据库进行数据存储 爬虫分三个模块: ...

2019-01-14 19:08:19 130 0

原创 2.1 案例3:爬取某读书网站

课前说明:本章节请求的 url 部分用 ** 代替 本章节需要掌握的知识点: 1、无界面浏览器的使用:     driver = r"/home/**/Downloads/chromedriver"     opt = webdriver.ChromeOptions() ...

2019-01-12 14:43:01 95 3

原创 2.0 案例2:爬取房源信息以及分析房价

课前说明:本章节请求的 url 部分用 ** 代替 本章节需要掌握的知识点:         1、如何用 xpath 解析数据;         2、如何用 csv 存储数据(注:由于字典是无序的,所以写入csv时,表头可能跟内容搭配不对,需要手动调整表头信息);         3、对c...

2019-01-10 21:32:45 143 0

原创 1.9 案例一

课前说明:本章节请求的 url 部分用 ** 代替 本章节需要掌握的知识点: request.urlretrieve()  # urlretrieve函数是用来下载资源的函数,第一个参数是请求的 url,第二个参数是要保存的文件名 爬虫分三个模块:        1、请求模块:用于构造请求...

2019-01-09 22:13:55 74 0

原创 1.8 selenium工具

课前说明:本章节请求的 url 部分用 ** 代替 本章节需要掌握的知识点: selenium工具是使用。 介绍:        selenium是一种用于web程序测试的工具,selenium测试的代码可以直接运行在浏览器中,就像真正的用户操作一样。 在写python爬虫的时候,主要是...

2019-01-08 18:53:05 57 0

原创 1.7认识网页解析工具

课前说明:        网页解析工具有很多种,例如:re、xpath、jsonpath、bs4等等,本章节简单介绍一下re和xpath的用法,其它解析工具自行学习O(∩_∩)O哈!  本章节需要掌握的知识点: re正则的使用 xpath的使用 re 详解: import re #...

2019-01-07 21:50:52 375 0

原创 1.6IP代理请求

课前说明:本章节请求的 url 部分用 ** 代替  本章节需要掌握的知识点: request.ProxyHandler()   # 构建代理服务器对象   参数为一个字典 from urllib import request url = 'https://www.bai**...

2019-01-06 20:21:36 71 0

原创 1.5会话处理

课前说明:本章节请求的 url 部分用 ** 代替  本章节需要掌握的知识点: cookiejar     # 处理cookie的时候,需要把cookie信息存入一个对象,这个工具就是将cookie进行初始化 request.HTTPCookieProcessor      # 这个是HTT...

2019-01-05 21:08:57 43 0

原创 1.4url带中文的请求

本章节需要掌握的知识点: urllib中的parse parse.quote()    # 对带中文的参数进行编码 parse.unquote()   # 解码 from urllib import request, parse # 请求的url url = 'https:/...

2019-01-05 20:34:17 83 0

原创 1.3简单的post请求

课前说明:本章节请求的 url 部分用 ** 代替 1、打开网页 https://fanyi.**.com 2、右击 -> 检查 -> 找到network点击 ->输入需要翻译的单词happy 3、点击XHR -> 点击sug文件 4...

2019-01-04 19:57:30 165 0

原创 1.2我的第一个反爬

反爬:【用户代理】web开发中,同一个url可以对应若干个不同的页面,后台可以根据前端发起的请求头中的用户代理的不用,决定响应给前端什么样的数据。如果用户代理在判断的时候检测到不是我们制定的那几个用户代理,就可以拒绝客户的访问从而达到反爬的目的。 针对这种反爬可以通过请求头,请求头中设置用户代理...

2019-01-03 18:54:51 40 0

原创 1.1使用urllib发起请求

# 导入urllib from urllib import request # 请求地址url url = 'http://www.baidu.com/' # 构建请求对象 response = request.Request(url=url) # 返回响应对象 resu...

2019-01-03 17:29:36 60 0

转载 百度学习记录

python迭代器和生成器 https://www.cnblogs.com/deeper/p/7565571.html python类方法、静态方法、类方法的区别 https://www.cnblogs.com/wcwnina/p/8644892.html python查看内存地址网站 www....

2018-12-27 19:06:33 62 0

转载 django必备知识点

web登陆原理与用户系统实现: https://www.jianshu.com/p/be586abda239 django的csrf防御机制: https://www.jianshu.com/p/a178f08d9389 django实现restful API : https://www.cnbl...

2018-11-28 13:56:31 124 0

原创 git出现fatal: refusing to merge unrelated histories错误的解决方案

出现该错误的原因主要是因为远程库有README这个文件,而本地库没有该文件。 出现fatal: refusing to merge unrelated histories这个错误时, 运行: git pull origin master –allow-unrelated-histories ...

2018-10-28 18:59:24 583 0

原创 python-urllib库学习笔记

  import urllib.request, urllib.parse ''' urllib常用的请求语句 ''' url = '' # 发送请求 res = urllib.request.urlopen(ur...

2018-10-27 15:39:05 101 0

原创 JQuery学习笔记

jQuery语法 $(this).hide() // 隐藏当前元素 $("p").hide() // 隐藏所有<p>元素 $("p.test").hide() // 隐藏所有class="test"的&a...

2018-10-21 11:51:38 44 0

原创 linux下安装Python、redis

Linux下安装Python3: 1. 准备环境 yum install wget xz sqlite-devel zlib-devel bzip2-devel openssl-devel ncurses-devel readline-devel gcc-c++ gcc -y 2. 下载p...

2018-09-11 21:27:01 523 0

原创 MongoDB与MySQL笔记

数据库操作 1、创建数据库 MongoDB: use student 注意:如果数据库不存在则创建,否则则切换到student数据库中 MySQL: create database student charset=utf8; 2、删除数据库 MongoDB: ...

2018-08-30 21:06:16 90 0

原创 Python高阶函数

1、map(func, iter)函数 参数一:要传入的函数名 参数二:序列 功能:将传入的函数依次作用于序列中的每一个元素,并把结果作为一个新的迭代器返回. 注意:当传入map的序列只有一个的时候,传入的函数,有且只有一个参数. 当map的序列有多个的情况下,得到的迭代长度与序列中最短的那个列表...

2018-08-09 21:04:48 432 0

原创 Python简单银行系统

功能: 开户、查询、取款、存款、转账、改密、锁定、解锁、补卡、销户、退出 简述:用户需要用身份证号码开户注册一个银行卡号,可以实现查询、存款取款等功能。此系统主要采用面向对象的方法,信息存储方式采用json模块来进行存储。(数据存储也可以用pickle模块,彩票系统已采用,此系统就不用pickl...

2018-08-07 20:23:38 1761 0

原创 Python简单的彩票系统

 功能:1、注册  2、登录  3、充钱   4、提现  5、下注  6、开奖  7、退出 简述:彩民需要用身份证号码开户注册一个彩票号码,购买彩票时需要先登录,可以充值以及提现。购买的彩票金额可以自己给定。此系统主要采用面向对象的方法,信息存储方式采用pickle模块来进行存储。 系统主函数...

2018-08-04 09:44:42 2054 3

原创 Python简单的音乐播放器1

import pygame import time musicList = [r"E:\KuGou\gequ\周杰伦 - 牛仔很忙.mp3", r"E:\KuGou\gequ\张宇 - 趁早.mp3", ...

2018-08-02 11:23:42 445 0

原创 Python歌词解析器(加音频播放)

import pygame import time strLrc = '''[00:01.49]动力火车 - 当 [00:20.53]当 《还珠格格》主题曲(动力火车) [00:21.89]喔...喔..喔.喔.喔 [00:28.60]喔...喔..喔.喔.喔 [...

2018-07-30 20:25:19 734 0

原创 Python遍历文件的三种方法

注意:路径是自己给的,必须是真是存在的路径 1、使用递归遍历目录 import os def getAllDir(path): # 获取路径下的文件以及目录 listFile = os.listdir(path) # print(listFile) # 遍历列...

2018-07-27 15:01:21 315 0

原创 Python递归函数的实例

一球从100米高度自由落下,每次落地后反跳回原高度的一半; 再落下,求它在第10次落地时,共经过多少米?第10次反弹多高? def heigthM(num, heigth, sum): sum += heigth heigth /= 2 #第一次返回高度50 prin...

2018-07-27 09:47:14 2420 0

原创 Python递归函数的规律

''' 需求:计算n! = 1 * 2 * 3 * .... * n 1.临界条件:n = 1 2.关系:n - 1 3.求出最后结果: n * (n - 1) ''' def jiecheng(n): # n = 5 n = 4 ...

2018-07-26 15:00:55 149 0

原创 Python冒泡排序处理数字

strNum = input("请输入一串数字字符串") list1 = strNum.split() list2 = [] for x in list1: list2.append(int(x)) for x in range(1, len(list2)): for j...

2018-07-25 10:26:32 406 0

原创 Python歌词解析

import time musicLrc = '''[00:03.50]传奇 [00:19.10]作词:刘兵 作曲:李健 [00:20.60]演唱:王菲 [00:26.60] [04:40.75][02:39.90][00:36.25]只是因为在人群中多看了...

2018-07-25 10:23:56 316 0

原创 Python输出1000内的所有完数

num = 2 while num < 1000: perfectFactor = 0 n = 1 while n < num: if num % n == 0: perfectFactor += n n += 1 if perfectFacto...

2018-07-21 14:31:33 9965 0

原创 Python双色球系统

import random print('游戏开始'.center(50, "*")) cardMoney = int(input("请为您的彩票卡充值(金额 > 2元):")) while True: if card...

2018-07-21 14:30:18 401 2

原创 Python字符串中部分字符串的替换

str = 'nin hello world hao hello world' str1 = 'hello world' x = len(str1) str2 = 'hello%20world' for i in str: if...

2018-07-20 09:35:47 9341 0

原创 Python计算字符串中单词的个数

str = input("请您输入一串字符串:") str1 = str.strip() #去掉头尾空格 index = 0 count = 0 while index < len(str1): while str1[index] != " &...

2018-07-20 09:34:34 10420 0

原创 Python逆时针旋转90°打印9 * 9 乘法表

num = 9 i = 1 res = 0 while num > 0: y = num print("\t\t\t" * (num - 1), end="") #控制打印乘法表空格 for x in range(i...

2018-07-20 09:28:26 227 0

原创 Python输入一串字符串,输出字符串单词的个数

str = input("请您输入一串字符串:") str1 = str.strip() # 去掉字符串前后空格 index = 0 count = 0 while index < len(str1): while str1[index] != &quo...

2018-07-19 19:14:35 9826 1

原创 Python分解质因数

number = int(input("请您输入一个数字:")) num = 2 while num <= number: if number % num == 0: #能被num整除就分解 number /= num print("num...

2018-07-19 19:03:20 2654 0

原创 Python从控制台输入两个数,求这两个数的最大公约数

num1 = int(input("请您输入一个数:")) num2 = int(input("请您再输入一个数:")) min = min(num1, num2) sum = 1 list = [] prime = 2 while prime &...

2018-07-19 18:56:02 3649 0

原创 Python随机生成一个六位数的验证码

import random str = "" str1 = "" list = [] index = 0 num = 0 while num < 6: x = random.choice(range(12)) # 对随机生成的字符...

2018-07-19 18:52:09 1954 0

原创 Python打印杨辉三角

list = [] for x in range(1, 10): list.append(x) for x in range(1, 10): for i in range(0, 10 - x): print(" ", end = "&...

2018-07-19 18:46:02 441 0

提示
确定要删除当前文章?
取消 删除