![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 62
大林子先森
资深写BUG选手
展开
-
python+scrapy+MongoDB爬取网站数据
假设前置条件: 个人PC安装好python、scrapy、MongoDB等环境 1.创建项目 scrapy startproject tutorial 创建完后的文件夹如下: 其中红色框框内的两个文件为后续创建的文件,其他的文件为执行命令后生成的。 2.创建爬虫 进入刚才创建的 tutorial 文件夹,执行genspider命令 scrapy genspider quotes 执行完毕之后,spiders 文件夹中多了一个 quotes.py文件(上图红色框1),编辑...原创 2021-05-08 20:45:04 · 468 阅读 · 1 评论 -
Python--操作MongoDB
关于Windows下MongoDB的安装及服务启动参见《Win10安装MongoDB》 本篇主要对练习过程中的代码进行记录(小白入门): import pymongo client = pymongo.MongoClient(host='127.0.0.1', port=27017) print(client) ##指定数据库 db = client.test ##指定集合(类似表) collection = db.user ##构造数据 user = { 'id': '12333', .原创 2021-04-13 10:14:39 · 105 阅读 · 0 评论 -
Python--selenium使用
1 selenium定义 Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。----from 百度百科 2 安装 利用pip下载安装包进行自动安装 pip3 installselenium 下载浏览器驱动 地址:https://sites.google.com/a/chromium.org/chromedriver 因为某些原因这个网址可能大部分人无法访问……^——^,作为一个科学上网的好孩纸,可从网上找其他资...原创 2021-04-12 23:43:46 · 165 阅读 · 1 评论 -
pip install pyspider报错问题
https://blog.csdn.net/u012424313/article/details/89511520原创 2021-04-07 15:33:34 · 323 阅读 · 1 评论 -
win10: pip install tesserocr报错问题
因为需要使用OCR库作为爬虫验证码识别的工具,所以本地进行tesserocr的安装,期间各种报错,折腾了一两个小时,本次记录下所有的趟坑经历。 关于OCR: 即 Optical Character Recognition,光学字符识别,是指通过扫描字符,然后通过其形状将其翻译成电子文本的过程。对于图形验证码来说,它们都是一些不规则的字符,这些字符确实是由字符稍加扭曲变换得到的内容。我们可以使用 OCR 技术来将其转化为电子文本,然后爬虫将识别结果提交给服务器,便可以达到自动识别验证码的过程。 .原创 2021-04-07 11:27:52 · 311 阅读 · 0 评论