- 博客(4)
- 收藏
- 关注
RSS订阅原创 selenium+chrome多线程爬取多个网站信息
本文创建sqlserver数据库连接池，从数据库读取相关网站配置。下图为各个网址的数据标签定位配置：2. 获得配置之后，创建多线程。从配置文件中读取配置后，下图为创建多线程（threading）：3. 接下来使用selenium+chromedriver调用浏览器，使用beautifuisoup解析页面爬取动态页面数据：最后展示全部代码：import pyodbcimport p...
2019-06-06 17:53:07
5496
3
转载 selenium+多线程爬虫爬取博客信息
原 Python+Selenium多线程基础微博爬虫 2018年06月26日 10:14:22 McQueen_LT 阅读数：347 ...
2019-06-06 17:22:13
2941
原创 JSON数据需要注意哪些？
json.dumps()用于将dict类型的数据转成str，因为如果直接将dict类型的数据写入json文件中会发生报错，因此在将数据写入时需要用到该函数。json.loads()用于将str类型的数据转成dict。json.dump()用于将dict类型的数据转成str，并写入到json文件中。下面两种方法都可以将数据写入json文件json.load()用于从json文件中读取数据。...
2019-06-06 16:53:25
186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人