![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
数据分析学习ing_Python学习
刚刚进入互联网的小白
展开
-
线程池的简单案例
最近学的一个多线程的案例,然后自己又重新写了一遍开始! 比较简单,主要是知识点。1.导入模块from concurrent.futures import ThreadPoolExecutor #线程池import requestsfrom lxml import etreeimport csv2.存储为csv文本f = open('xinxin.csv','w',encoding='utf-8')csvwriter = csv.writer(f)3.定义取单页的函数def ge原创 2021-04-19 22:06:16 · 77 阅读 · 1 评论 -
python爬虫简单实战(三)
基于bs4中的一个模块BeautifulSoup进行解析数据的一种方法爬取诗词名句中三国演义小说1.导入库import requestsfrom bs4 import BeautifulSoup2.发起请求url = 'https://www.shicimingju.com/book/sanguoyanyi.html'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit原创 2021-04-10 20:13:20 · 129 阅读 · 0 评论 -
python爬虫简单实战(二)
我是总结之前学的一些知识点,然后进行一些简单的实战演示。这次的知识点是基于selenium库的一个自动化浏览器的爬取过程。还是豆瓣电影这个例子。1.导入相关的库from lxml import etreeimport csvfrom selenium import webdriverfrom time import sleep2.传入浏览器驱动程序(我的是edge),然后进行数据解析#实例化一个浏览器对象bro = webdriver.Edge(executable_path='.\M原创 2021-04-10 16:49:47 · 127 阅读 · 0 评论 -
python爬虫简单实战(一)
网上查了一下,发现爬取豆瓣top250比较简单,先试一下1.导入相关的库import requestsfrom lxml import etreeimport csv2.设置请求头headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.原创 2021-04-10 16:08:05 · 903 阅读 · 9 评论