![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
日朗格拉
仅为个人学习记录鹅已。。
展开
-
爬虫03_股票数据定向爬虫
1.准备工作 功能描述: 目标:获取上交所和深交所所有股票的名称和交易信息 输出:保存到文件中 所用技术:requests、bs4、re、csv 数据网站选择: 新浪股票:http://finance.sina.com.cn/stock/ (动态) 网易股票:http://quotes.money.163.com/ (静态) 凤凰财经:http://app.finance.ifeng.com/list/stock.php (静态) 原则:选择将股票数据静态写在html页面中的,而不是用js动态生成原创 2020-07-20 19:51:21 · 364 阅读 · 0 评论 -
爬虫03_re库03_淘宝商品比价定向爬虫
1.实例分析 定向爬虫可行性: 访问https://www.taobao.com/robots.txt 得User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / 这里对根目录进行限制,但我们仅是拿来学习技术实现,不做商业用途且骚扰。 2.程序结构设计 3.代码实现 关于写headers信息: 1.登录淘宝,进入搜索页,F12 2.选择Network,刷新一下,找到最上方以search?开头的文件,右键copy -&原创 2020-07-20 14:16:16 · 214 阅读 · 0 评论 -
爬虫03_re库02_正则表达式的语法
操作符 语法实例原创 2020-07-20 11:47:04 · 71 阅读 · 0 评论 -
爬虫03_re库01_函数介绍
1. re.search() 从string全文中寻找 第一个 符合要求的,返回match对象 import re match = re.search(r'[1-9]\d{3}','asd 1000asd82')#匹配连续的4个数字 if match: print(match.group(0)) >>> 1000 2.re.match() 从string的开头开始匹配,返回match对象 import re match = re.match(r'[1-9]\d{4}.原创 2020-07-20 11:01:18 · 85 阅读 · 0 评论 -
爬虫02_bs4库02_中国大学排名
1.用requests库获取源代码 2.用BeautifulSoup库遍历、分析得到需要数据 3.根据要求使用.format格式化输出 import requests from bs4 import BeautifulSoup url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2020.html" def getHTMLText(url): try: r = requests.get(url, timeout = 20)原创 2020-07-19 18:03:27 · 88 阅读 · 0 评论 -
爬虫02_bs4库01
BeautifulSoup入门 import requests from bs4 import BeautifulSoup url = 'http://python123.io/ws/demo.html' r = requests.get(url,) demo = r.text soup = BeautifulSoup(demo, 'html.parser') #'html.parser'用于解析html的解释器 #soup = BeautifulSoup(open("D://demo.html"), '原创 2020-07-19 10:31:04 · 67 阅读 · 0 评论 -
爬虫01_requests库
爬虫01_requests库 1.获取京东商品信息 编码、状态码 问题 import requests def getHTMLText(url): try: r = requests.get(url,timeout=30,headers={'user-agent':'Mozilla/5.0'}) r.raise_for_status() #如果状态码不是200 引发异常 r.encoding = r.apparent_encoding原创 2020-07-18 22:04:06 · 92 阅读 · 0 评论