爬虫
蓝翔厨师长
AI量化算法工程师
展开
-
python 爬取12365auto投诉信息
#爬取12365auto投诉信息#导入request、BeautifulSoup、Pandasimport requestsfrom bs4 import BeautifulSoupimport pandas as pd#url = 'http://www.12365auto.com/zlts/0-0-0-0-0-0_0-0-1.shtml'#得到网页信息def get_page_soup(url): #headers设置 headers={'user-agent': 'Mo原创 2020-09-20 13:51:02 · 402 阅读 · 0 评论 -
python 链家在售数据爬取案例实战
链家爬虫是很早之前写的,具体的思路可以参考上一篇python 爬取链家成交房数据案例,代码有很多不成熟的地方,但也懒得改了。在当时写的时候很多知识点忘记了,请教了同门何师弟和胡姐。大佬请让道,不喜勿碰。#导包from bs4 import BeautifulSoupimport requestsimport reimport timeimport pandas as pdimport jsonimport time#伪造设置浏览器请求头user-agenthead = { 'U原创 2020-05-27 14:18:04 · 1030 阅读 · 0 评论 -
python 爬取链家成交房数据案例
爬取链家网流程为request.get得到网页信息,将得到的信息放入BeautifulSoup,再调用select爬取所需信息,用re正则表达式进行更细的筛选,用strip过滤无用字符串。具体代码如下:import reimport timeimport pandas as pdimport jsonimport time#伪造设置浏览器请求头user-agent#修改starturl_list即可head = { 'User-Agent': 'Mozilla/5.0 (Windo原创 2020-05-27 14:08:11 · 1664 阅读 · 9 评论