声明:
1、 学生刚开始学习爬虫,代码会有很多不严谨,也较为粗糙,单纯用于广大网友参考,希望能起到一定的帮助
2、 如果要转载,请标记出来源
3、本文纯粹用于技术练习,请勿用作非法途径
4、如果有问题请在评论区指出,虚心接受立马改正
做题途中所遇问题:
1,split以|分割数据,分别保存入excel表,但是中间如果某项数据是无。数据就乱了,问题解决不了
2.做柱形图以为只要用matplotlib就行了,后来发现要使用excel表要是用pandas和xlrd才行
代码块:
#1、爬取https://sh.lianjia.com/ershoufang/房屋信息,获取房屋信息编号、价格、描述,存入fangwu.xlsx文件,并将房价绘制成折线图进行显示。
import requests
from bs4 import BeautifulSoup
import xlwt
import matplotlib.pyplot as plt
import pandas as pd
import xlrd
def main():
html="https://sh.lianjia.com/ershoufang/"
list= getData(html)
savepath=".\\fangwu.xls"
saveData(list,savepath)
score()
def getData(html):
list=[]
request=askURL(html)
bs = BeautifulSoup(request.text, "html.parser")
house_message = bs.find_all('div', class_="info clear")
for house in house_message:
#房屋信息编号
number=house.find("div",class_="title").find("a").attrs["data-log_index"]</