![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python爬虫
文章平均质量分 70
tamakisakura
这个作者很懒,什么都没留下…
展开
-
python爬虫笔记-urllib
urllib提供了一系列用于操作URL的功能。from urllib import request #引用urllibresp = request.urlopen("http://www.baidu.com") #打开网页,可以直接urlopen也可以先传入Request再传入urlopenprint(resp.read().decode("UTF-8")) #读取内容设置编码模式from ...原创 2018-04-21 19:57:23 · 169 阅读 · 0 评论 -
python爬虫笔记-BeautifulSoup
BeautifulSoup是Python的一个库,最主要的功能就是从网页爬取我们需要的数据。BeautifulSoup将html解析为对象进行处理,全部页面转变为字典或者数组,相对于正则表达式的方式,可以大大简化处理过程。使用BeautifulSoup解析这段代码,能够得到一个 BeautifulSoup 的对象,并能按照标准的缩进格式的结构输出参考链接:https://www.crummy.co...原创 2018-04-21 19:58:05 · 221 阅读 · 0 评论 -
python爬虫笔记-weikipedia数据爬取
#from urllib import requestfrom urllib.requestimport urlopen#from urllib.request import Requestfrom urllib import parsefrom bs4 import BeautifulSoupimport re#请求url并把结果用UTF-8编码resp = urlopen("https://e...原创 2018-04-21 19:58:28 · 406 阅读 · 0 评论 -
python爬虫笔记-weki数据传入数据库
#from urllib import requestfrom urllib.request import urlopen#from urllib.request import Requestfrom urllib import parsefrom bs4 import BeautifulSoupimport reimport pymysql.cursorsresp = urlopen("http...原创 2018-04-21 19:58:47 · 144 阅读 · 0 评论 -
python爬虫笔记-SQL查询weki数据
统计表格中的条数#导入开发包import pymysql.cursors#获取链接connection = pymysql.connect(host='localhost', user='root', password='123456', db='wikiurl', charset='utf8mb4')try:#获取会话指针 with connection.curso...原创 2018-04-21 19:59:09 · 151 阅读 · 0 评论 -
正则表达式笔记
1.正则表达式是使用单个字符串来描述匹配一系列符合某个句法规则的字符串。比如查找以http开图以jpg结尾的字符串。2.是对字符串操作的一种逻辑公式。3.处理文本和数据.4.正则表达式过程:依次拿出表达式和文本中的字符比较,如果每一个字符都能匹配,则匹配成功;否则匹配失败。5.需要在开头引入 import re6.正则表达式语法 -----使用正则表达式匹配单个字符。7.使用正则表达式表示多个...原创 2018-04-21 19:59:33 · 529 阅读 · 0 评论 -
selenium模拟浏览器行为登录西南交通大学采集日期数据
import time #后面的时间延时用。from selenium import webdriverdriver = webdriver.Chrome() #driver.get('http://gs.swjtu.edu.cn/ws/gsedu')input_id = driver.find_element_by_name('userid')input_id.send_keys('201...原创 2018-04-21 19:59:48 · 124 阅读 · 0 评论