老年人第四次爬虫 记几个拓展

使用xlwt 保存到excel

下载xlwt

import xlwt

# 创建工作簿
book = xlwt.Workbook(encoding='utf-8')
# 创建工作表
sheet = book.add_sheet('sheet1')
sheet.write(行数, 列数, '文本内容')
sheet.write(1, 1, 'hello')
# 保存路径
book.save('C:/Users/.../Desktop/test.xls')

下载图片到本地

import requests
# 下载图片

header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'
}
# 保存地址
path = 'C:/Users/../Desktop/'
# 图片url 爬虫的时候具体分析集合
url = 'https://dss2.baidu.com/6ONYsjip0QIZ8tyhnq/it/u=2231226566,2545015917&fm=85&app=79&f=JPG?w=121&h=75&s=B6D0E8329690B58AFCB89DE60300A0B1'

data = requests.get(url)
# 我找的url屁股没有.jpg 我手动补上 具体问题具体分析
if url.endswith(".jpg"):
    imageName = url[-10:]
else:
    imageName = url[-10:]+".jpg"
# 创建文件
fp = open(path + imageName, 'wb')
# 写入数据
fp.write(data.content)
fp.close()

解析json数据

import json

import requests
# 整理json数据输出更好看
import pprint

header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'
}
# 高德地图的api 参数的key可以自己去申请
url = 'https://restapi.amap.com/v3/geocode/geo?parameters'

address = input('请输入地点:')
par = {'address': address, 'key': '1a38f91e9dd38c5730ca3225bfd668d5'}
# 请求
req = requests.get(url, par)
# 解析
json_data = json.loads(req.text)
# 输出整理后的json 上图
pprint.pprint(json_data)

# 两种方式
print(json_data['geocodes'][0]['city'])
print(json_data.get('geocodes')[0].get('city'))

mongoDB和pymongo和Robomongo

具体安装 略
mongoDB需要手动启动服务
环境变量配置之后在cmd启动
mongod --dbpath 本地数据库路径
这时候可视化工具Robomongo就可以连接上数据库了
py代码简单连接本地数据库然后插入一条数据

import pymongo

# 连接本地数据库
client = pymongo.MongoClient('localhost', 27017)
# 创建数据库
mydb = client['mydb']
# 创建数据库集合
test = mydb['test']
test.insert_one({'name': "周杰伦", 'sex': '男', '职业': '人'})

就是这样的概念 具体mongodb操作不说了