- 博客(4)
- 收藏
- 关注
RSS订阅原创 线程池的简单案例
最近学的一个多线程的案例，然后自己又重新写了一遍 开始！ 比较简单，主要是知识点。 1.导入模块 from concurrent.futures import ThreadPoolExecutor #线程池 import requests from lxml import etree import csv 2.存储为csv文本 f = open('xinxin.csv','w',encoding='utf-8') csvwriter = csv.writer(f) 3.定义取单页的函数 def ge
2021-04-19 22:06:16
86
1
原创 python爬虫简单实战（三）
基于bs4中的一个模块BeautifulSoup进行解析数据的一种方法 爬取诗词名句中三国演义小说 1.导入库 import requests from bs4 import BeautifulSoup 2.发起请求 url = 'https://www.shicimingju.com/book/sanguoyanyi.html' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit
2021-04-10 20:13:20
138
原创 python爬虫简单实战（二）
我是总结之前学的一些知识点，然后进行一些简单的实战演示。 这次的知识点是基于selenium库的一个自动化浏览器的爬取过程。 还是豆瓣电影这个例子。 1.导入相关的库 from lxml import etree import csv from selenium import webdriver from time import sleep 2.传入浏览器驱动程序（我的是edge），然后进行数据解析 #实例化一个浏览器对象 bro = webdriver.Edge(executable_path='.\M
2021-04-10 16:49:47
139
原创 python爬虫简单实战（一）
网上查了一下，发现爬取豆瓣top250比较简单，先试一下 1.导入相关的库 import requests from lxml import etree import csv 2.设置请求头 headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.
2021-04-10 16:08:05
972
9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人