- 博客(20)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Python 爬虫实战
学习再多的理论不实际动手，还是不会写，今天抽点空，写了两个常见的例子 一、爬取百度贴吧的图片 import requests from lxml import etree import json class Tieba(): def __init__(self,name): self.name = name self.header = {"User-Age...
2018-12-27 20:04:00
338
原创 动态HTML处理————selenium库的使用
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。 Selenium 自己不...
2018-12-20 10:47:22
538
原创 使用XPath的爬虫
爬取某贴吧 import requests from lxml import etree import json class Tieba(object): def __init__(self,tieba_name): self.tieba_name=tieba_name self.headers={ "User-Agent": "Mo...
2018-12-18 19:25:44
314
原创 python3爬虫之 PyQuery库
简介 PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。 初始化 初始化的时候一般有三种传入方式：传入字符串，传入url,传入文件 字符串初始化 html = ''' ...
2018-12-17 14:25:20
251
原创 python3爬虫之BeautifulSoup
BeautifulSoup的使用 from bs4 import BeautifulSoup html = ''' <html><head><title>The Dormouse's story</title></head&
2018-12-13 19:45:40
163
原创 Python3爬虫之Requests
Requests 的使用 import requests response = requests.get("https://www.baidu.com") print(type(response)) print(response.status_code) print(type(response.text)) print(response.text) print(response.cookies...
2018-12-12 18:33:34
226
原创 Python3爬虫之urllib
urllib库的基本使用 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib。 Urllib是python内置的HTTP请求库 包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser ro...
2018-12-11 19:04:47
197
原创 python3爬虫之爬虫的原理
爬虫的基本流程 发起请求 通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应 获取响应内容 如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据（图片或者视频）等类型 解析内容 得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可...
2018-12-11 18:33:31
134
原创 MySQL与Python交互
Python 中操作 MySQL 步骤 • 引入模块 • 在py文件中引入pymysql模块 from pymysql import * Connection 对象 • 用于建立与数据库的连接 • 创建对象：调用connect()方法 conn=connect(参数列表) • 参数host：连接的mysql主机，如果本机是’localhost’ • 参数port：连接的mysql主机的端口，默认是...
2018-12-09 10:28:23
299
原创 MySQL 的查询语句
查询 创建数据库、数据表 – 创建数据库 create database python_test_1 charset=utf8; – 使用数据库 use python_test_1; – students表 create table students( id int unsigned primary key auto_increment not null, name varchar(20) def...
2018-12-09 10:17:56
162
原创 初学MYSQL
数据库知识点 • 数据库 • RDBMS • SQL • MySQL 学习目标 • 熟练编写数据的增删改查相关的 SQL 语句 数据库 • 查看所有数据库 show databases; • 使用数据库 use 数据库名; • 查看当前使用的数据库 select database(); • 创建数据库 create database 数据库名 charset=utf8; 例： create dat...
2018-12-09 10:10:32
170
原创 小白学Python（八）--------函数（2）
一、局部变量 <1>什么是局部变量 如下图所示: <2>小总结 局部变量，就是在函数内部定义的变量 其作用范围是这个函数内部，即只能在这个函数中使用，在函数的外部是不能使用的。因为其作用范围只是在自己的函数内部，所以不同的函数可以定义相同名字的局部变量（打个比方，把你、我是当做成函数，把局部变量理解为每个人手里的手机，你可有个iPhone8，我当然也可以有
2018-12-05 17:32:14
208
原创 小白学Python（七）-------函数（1）
一、函数定义和调用 <1>定义函数 定义函数的格式如下： def 函数名(): 代码 demo: #定义一个函数，能够完成打印信息的功能 def printInfo(): print(’------------------------------------’) print(’ 人生苦短，我用Python’) print(’-------------------------------...
2018-12-05 16:26:12
277
原创 小白学Python（六）--------元组、字典
一、元组 Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。 aTuple = (‘et’,77,99.9) aTuple (‘et’,77,99.9) <1>访问元组 <2>修改元组 说明： python中不允许修改元组的数据，包括不能删除其中的元素。 <3>count, index index和...
2018-12-05 16:14:03
258
原创 小白学Python（五）---------列表
列表介绍 一、列表 <1>列表的格式 变量A的类型为列表 namesList = [‘xiaoWang’,‘xiaoZhang’,‘xiaoHua’] 比C语言的数组强大的地方在于列表中的元素可以是不同类型的 testList = [1, ‘a’] <2>打印列表 demo: namesList = [‘xiaoWang’,‘xiaoZhang’,‘xiao
2018-12-05 15:42:29
195
原创 小白学Python（四）----字符串
一、 字符串 <1>python中字符串的格式 如下定义的变量a，存储的是数字类型的值 a = 100 如下定义的变量b，存储的是字符串类型的值 b = “hello xiaobai.cn” 或者 b = ‘hello xiaobai.cn’ 小总结： <2>双引号或者单引号中的数据，就是字符串 字符串输出 Demo: name = ‘xiaobai
2018-12-05 15:13:55
228
原创 小白学Python（三）------循环
一、while循环 <1> while循环的格式 while 条件: 条件满足时，做的事情1 条件满足时，做的事情2 条件满足时，做的事情3 … demo： i = 0 while i < 5: print(“当前是第%d次执行循环” % (i + 1)) print(“i=%d” % i) i+=1 结果: 当前是第1次执行循环 i=0 当前是第2次执行循环 i=1 当
2018-12-05 14:43:43
331
原创 小白学Python（二）----判断语句
一、判断语句 1、if判断语句 <1> if判断语句介绍 if语句是用来进行判断的，其使用格式如下： if 要判断的条件: 条件成立时，要做的事情 demo1:（demo的中文意思：演示、案例） age = 30 print("------if判断开始------") if age >= 18: print(“我已经成年了”) print("
2018-12-05 14:34:00
194
原创 小白学Python（一）
小白学Python（一） 一、 注释 #–单行注释 ‘’’ ‘’’ 多行注释 注：在Python2中为了支持中文必须写中文注释在第一行#coding=utf-8 二、 定义变量 语法:变量名=变量值 例：a=10 在第一次为变量赋值为定义变量，第一次之后就为修改变量 变量的类型： 1、 数字 int（整型） long（长整型） float（浮点型） complex（复数） 2、 布尔类型...
2018-12-04 20:41:25
499
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人