- 博客(23)
- 收藏
- 关注
RSS订阅原创 山东大学创新项目实训个人工作日志（六）
完成了在携程网站爬取指定城市的特色美食的功能。具体方式是输入用户所选择的城市，然后就可以返回一系列的特色美食的信息。首先是爬取携程的所有城市的ID，并把它保存在一个列表中，用户指定城市后就可以直接从中取出，然后访问到指定城市的页面。获取城市ID： def getCityList(self): html = self.getHtml('https://piao.ctrip.com/ticket/?districtid=1') soup = BS(html, "ht
2021-04-20 23:43:47
99
原创 山东大学创新项目实训个人工作日志（五）
完成了对途牛景点门票的爬取。主要实现的功能就是输入用户的关键词和用户所在的城市（或者选择的城市），就可以搜索出相应的景点所对应的门票的信息来。通过观察可以发现，途牛和大众点评有个相同点，就是它们对每个城市都有一个独立的网站，而我们只要获取了那个网址，就可以实现定位，但是城市一般都是缩写，而且没有什么规律，所以我采用的办法是从主页选择城市的页面的源代码中提取出所有的城市href，然后保存在一个字典数据结构中，这样下次再想用的时候直接查询即可。同时加入了模糊查询功能，因为城市有的带“市”字，而有的不带，所以
2021-04-19 22:46:00
61
原创 山东大学创新项目实训个人工作日志（三）
主要在完成的工作是爬虫的实现，爬取的网站是大众点评，主要使用了python的requests和BeautifulSoup库。通过解析网站源码可以发现，每个城市都拥有一个网站，而这些网站都可以在选择城市的页面找到，所以通过它获取城市列表，然后根据用户的城市进入相应的网页，在团购网站上进行搜索操作，可以检索出优惠信息。比较麻烦的是详情页面需要登录，这点采用了cookie实现。大众点评的价格信息以及其他的数字信息都是加密之后的，所以之后几天的工作就是把这一部分解码出来，然后对优惠信息进行汇总。...
2021-04-15 23:01:15
128
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人