Python爬虫
使用Python爬取数据,并解析
安奇999
互联网数据分析师一枚
展开
-
使用Python解析网页-BeautifulSoup
BeautifulSoup BeautifulSoup可以用来方便的解析html数据。作为一名数据分析师,我们有时需要爬点外部数据分析,不需要全部掌握这个包的内容。我们还是什么有用学什么,能解决问题,交上作业即可。 1.1 最简案例 加载包 from bs4 import BeautifulSoup as BS 创建一个html格式字符串,注意html的数据的结构 html=""" <html> <head> <title> beautiful soup 学习 &l原创 2021-07-02 17:41:07 · 383 阅读 · 0 评论 -
使用Python抓取我爱我家二手房数据
爬取我爱我家二手房信息import requests from bs4 import BeautifulSoup user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36" headers={"User-原创 2017-07-16 10:11:14 · 1364 阅读 · 0 评论 -
爬取新浪国内新闻首页
Python3import requests user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36" headers={"User-Agent":user_agent} #请求头,headers是一原创 2017-07-16 10:13:49 · 707 阅读 · 0 评论