第一次入门Python爬虫,用的工具是pycharm,写python的时候会用到很多包,例如requests…可通过file-setting-project interpreter中的+号进行下载并引用即可,软件就不会报错。
下面是写的一些python例子的模块:
#encoding=utf-8
import requests
from bs4 import BeautifulSoup
resp = requests.get('https://book.douban.com/top250?start=0')
soup = BeautifulSoup(resp.text, 'lxml')
# find_all()方法,
# 注意class是Python关键词,后面要加下划线_:
alldiv = soup.find_all('div', class_='pl2')
for a in alldiv:
names = a.find('a')['title']
print(names)
allp = soup.find_all('div', class_='star clearfix')
for p in allp:
authors = p.select('span')[2].get_text()#选择p节点的第三个span元素,并获取span中的文字
print(authors)