![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
Bri0117
一入IT深似海,十年苦学浅如泥
展开
-
Python爬虫学习-股票数据定向爬虫(实例)
股票信息定向爬虫主要思路:选取合适的股票网站进行爬取;爬下所有的股票的编号列表;过比较不同个股页面的网址来找到其相同点和不同点,进一步分析;对所有的个股进行相关信息爬取。爬虫代码import reimport requestsfrom bs4 import BeautifulSoupimport tracebackimport bs4# 股票代码编号信息获取def g...原创 2019-02-16 17:06:04 · 1810 阅读 · 2 评论 -
Python爬虫学习-豆瓣电影TOP250数据爬取(存入mongo数据库中)
利用了晚上的闲暇时间,想对正则表达式+requests进行爬虫练习,故决定对豆瓣电影top(https://movie.douban.com/top250)排名进行数据爬取。因为是简单的网络页面,所以使用requests更为方便。爬虫的思路还是分为三步:爬取页面、提取数据、保存数据。爬取页面爬取的过程中并没有遇到反爬措施,所以较为页面爬取相对简单。提取数据通过观察每类数据的共同之处,再用...原创 2019-02-28 20:38:55 · 2334 阅读 · 2 评论 -
Python爬虫学习-新华书店书本数据定向爬虫(实例)
在学习了半个月python基础知识以及相关的爬虫基础技术后,尝试学以致用,本次决定使用requests、BeautifulSoup来对新华书店(https://www.xhsd.com)小说类书本商品信息进行爬取。1. 爬虫的构建思路进行分析:将代码分为4块;第一块构建函数getHTMLText(),该函数的作用是通过requests来获取到页面的信息;第二块构建fillList(),该...原创 2019-02-08 17:14:49 · 1443 阅读 · 1 评论 -
Python爬虫学习-反爬虫机制与应对方法
在爬取数据的过程中遇到以下几种反爬手段:1 .浏览器反爬检测2 .IP访问限制对应的解决措施有:1 .修改hearders。headers = { 'authority': 'ditu.amap.com', 'cache-control': 'max-age=0', 'upgrade-insecure-requests': '1', 'user-agent...原创 2019-02-25 22:29:16 · 811 阅读 · 1 评论 -
Python爬虫学习-使用mongo存储数据
pymongo的基本使用pymongo库的调用import pymongo创建连接(因为用的本机的mongodb数据库,所以直接写localhost即可,也可以写成127.0.0.1,27017为端口)client = pymongo.MongoClient('localhost', 27017) 连接数据库(如不存在会自动创建)db = client['mydb']连接表(如...原创 2019-02-27 18:56:51 · 479 阅读 · 1 评论