任务2
事实上这两个项目的实现代码我都没搞清楚,可能涉及到的BeautifulSoup和Xpath我都没搞明白吧,然后这次的网页中爬取内容的定位我也发现有些找不到,T_T。
代码都不是我敲的哦,都是Datawhale分享的资料,特此说明啊~
爬取中国大学排名
'''
爬取url:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html
爬取思路:
1.从网络上获取大学排名网页内容
2.提取网页内容中信息到合适的数据结构(二维数组)-排名,学校名称,总分
3.利用数据结构展示并输出结果
'''
#导入库
import requests
from bs4 import BeautifulSoup
import bs4
#1.从网络上获取大学排名网页内容
def GetHTMLText(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding #?
return r.text
except:
return ""
#2.提取网页内容中信息到合适的数据结构(二维数组)
#1.查看网页源代码,观察并定位到需要爬取内容的标签
#2.使用bs4的查找方法提取所需信息-‘排名,学校名称,总分’
def fillUnivList(ulist,html):
soup = BeautifulSoup(html,'html.parser')
for tr in soup.find('tbody').children: #?
if isinstance(tr,bs4.element.Tag):
tds = tr('td')
#根据实际提取需要的内容
ulist.append([tds[0].string,
tds[1].string,tds[3].string])
#3.利用数据结构展示并输出结果
def printUnivList(ulist,num = 20):
tplt = '{0:^10}\t{1:{3}^10}\t{2:^10}' #?
print(tplt.format('排名','学校名称','总分',chr(12288)))
for i in range(num):
u = ulist[i]
print(tplt.format(u[0],u[1],u[2],chr(12288)))
#存储爬取结果的容器
u_info = []
url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
html = GetHTMLText(url) #调用GetHTMLText函数,爬取网页
html
fillUnivList(u_info,html)#爬取
printUnivList(u_info,num = 10) #打印输出30个信息
丁香园论坛
这个帖子好早啊2003年的,因为我不会看定位,不会改参数,所以换了个帖子,没有爬到任何评论T_T。
'''
2.2.4 实战:爬取丁香园-用户名和回复内容
爬取思路:
1.获取url的html
2.lxml解析html
3.利用Xpath表达式获取user和content
4.保存爬取的内容
'''
from lxml import etree
import requests
url = 'http://www.dxy.cn/bbs/thread/626626#626626'
#url = 'https://www.dxy.cn/bbs/newweb/pc/post/43189415' #尝试失败
#获取url的html
req = requests.get(url)
html = req.text
#lxml解析html
tree = etree.HTML(html)
tree
#利用Xpath表达式获取use和content(重点)
user = tree.xpath('//div[@class="auth"]/a/text()')
content = tree.xpath('//td[@class = "postbody"]')
#保存爬取的内容
results = []
for i in range(0,len(user)):
results.append(user[i].strip() + ":"
+content[i].xpath('string(.)').strip())
#打印爬取结果
for i,result in zip(range(0,len(user)),results):
print("user"+str(i+1)+"—"+result)
print('*'*100)
结果显示
>_<
就是这么粗心>_<