- 博客(20)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Python 爬虫实战
学习再多的理论不实际动手，还是不会写，今天抽点空，写了两个常见的例子一、爬取百度贴吧的图片import requestsfrom lxml import etreeimport jsonclass Tieba(): def __init__(self,name): self.name = name self.header = {"User-Age...
2018-12-27 20:04:00
316
原创 动态HTML处理————selenium库的使用
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。Selenium 自己不...
2018-12-20 10:47:22
500
原创 使用XPath的爬虫
爬取某贴吧import requestsfrom lxml import etreeimport jsonclass Tieba(object): def __init__(self,tieba_name): self.tieba_name=tieba_name self.headers={ "User-Agent": "Mo...
2018-12-18 19:25:44
296
原创 python3爬虫之 PyQuery库
简介PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。初始化初始化的时候一般有三种传入方式：传入字符串，传入url,传入文件字符串初始化html = '''...
2018-12-17 14:25:20
229
原创 python3爬虫之BeautifulSoup
BeautifulSoup的使用from bs4 import BeautifulSouphtml = '''<html><head><title>The Dormouse's story</title></head&
2018-12-13 19:45:40
148
原创 Python3爬虫之Requests
Requests 的使用import requestsresponse = requests.get("https://www.baidu.com")print(type(response))print(response.status_code)print(type(response.text))print(response.text)print(response.cookies...
2018-12-12 18:33:34
200
原创 Python3爬虫之urllib
urllib库的基本使用所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib。Urllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser ro...
2018-12-11 19:04:47
180
原创 python3爬虫之爬虫的原理
爬虫的基本流程发起请求通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应获取响应内容如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据（图片或者视频）等类型解析内容得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可...
2018-12-11 18:33:31
120
原创 MySQL与Python交互
Python 中操作 MySQL 步骤• 引入模块• 在py文件中引入pymysql模块from pymysql import *Connection 对象• 用于建立与数据库的连接• 创建对象：调用connect()方法conn=connect(参数列表)• 参数host：连接的mysql主机，如果本机是’localhost’• 参数port：连接的mysql主机的端口，默认是...
2018-12-09 10:28:23
281
原创 MySQL 的查询语句
查询创建数据库、数据表– 创建数据库create database python_test_1 charset=utf8;– 使用数据库use python_test_1;– students表create table students(id int unsigned primary key auto_increment not null,name varchar(20) def...
2018-12-09 10:17:56
148
原创 初学MYSQL
数据库知识点• 数据库• RDBMS• SQL• MySQL学习目标• 熟练编写数据的增删改查相关的 SQL 语句数据库• 查看所有数据库show databases;• 使用数据库use 数据库名;• 查看当前使用的数据库select database();• 创建数据库create database 数据库名 charset=utf8;例：create dat...
2018-12-09 10:10:32
148
原创 小白学Python（八）--------函数（2）
一、局部变量<1>什么是局部变量如下图所示:<2>小总结局部变量，就是在函数内部定义的变量其作用范围是这个函数内部，即只能在这个函数中使用，在函数的外部是不能使用的。因为其作用范围只是在自己的函数内部，所以不同的函数可以定义相同名字的局部变量（打个比方，把你、我是当做成函数，把局部变量理解为每个人手里的手机，你可有个iPhone8，我当然也可以有
2018-12-05 17:32:14
187
原创 小白学Python（七）-------函数（1）
一、函数定义和调用<1>定义函数定义函数的格式如下：def 函数名():代码demo:#定义一个函数，能够完成打印信息的功能def printInfo():print(’------------------------------------’)print(’ 人生苦短，我用Python’)print(’-------------------------------...
2018-12-05 16:26:12
244
原创 小白学Python（六）--------元组、字典
一、元组 Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。aTuple = (‘et’,77,99.9)aTuple(‘et’,77,99.9)<1>访问元组<2>修改元组说明： python中不允许修改元组的数据，包括不能删除其中的元素。<3>count, indexindex和...
2018-12-05 16:14:03
223
原创 小白学Python（五）---------列表
列表介绍一、列表<1>列表的格式变量A的类型为列表namesList = [‘xiaoWang’,‘xiaoZhang’,‘xiaoHua’]比C语言的数组强大的地方在于列表中的元素可以是不同类型的testList = [1, ‘a’]<2>打印列表demo:namesList = [‘xiaoWang’,‘xiaoZhang’,‘xiao
2018-12-05 15:42:29
183
原创 小白学Python（四）----字符串
一、 字符串<1>python中字符串的格式 如下定义的变量a，存储的是数字类型的值a = 100 如下定义的变量b，存储的是字符串类型的值b = “hello xiaobai.cn”或者b = ‘hello xiaobai.cn’小总结：<2>双引号或者单引号中的数据，就是字符串字符串输出Demo:name = ‘xiaobai
2018-12-05 15:13:55
210
原创 小白学Python（三）------循环
一、while循环<1> while循环的格式while 条件:条件满足时，做的事情1条件满足时，做的事情2条件满足时，做的事情3…demo：i = 0while i < 5:print(“当前是第%d次执行循环” % (i + 1))print(“i=%d” % i)i+=1结果:当前是第1次执行循环i=0当前是第2次执行循环i=1当
2018-12-05 14:43:43
302
原创 小白学Python（二）----判断语句
一、判断语句1、if判断语句<1> if判断语句介绍if语句是用来进行判断的，其使用格式如下：if 要判断的条件:条件成立时，要做的事情demo1:（demo的中文意思：演示、案例）age = 30print("------if判断开始------")if age >= 18:print(“我已经成年了”)print("
2018-12-05 14:34:00
174
原创 小白学Python（一）
小白学Python（一）一、 注释#–单行注释‘’’ ‘’’ 多行注释注：在Python2中为了支持中文必须写中文注释在第一行#coding=utf-8二、 定义变量语法:变量名=变量值例：a=10在第一次为变量赋值为定义变量，第一次之后就为修改变量变量的类型：1、 数字int（整型）long（长整型）float（浮点型）complex（复数）2、 布尔类型...
2018-12-04 20:41:25
477
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人