Python
爬虫,web开发,脚本
小镇攻城狮
吃饭的家伙要拿稳咯
展开
-
Scrapy入门案例--爬取糗事百科的段子界面内容
之前写过一篇关于Scrapy安装的博客,这里用一个简单的案例来熟悉一下Scrapy的初阶使用。完整代码已经上传至GitHub。先看一下创建好的项目的目录结构:其中最外层的Scrapy_Demo_2目录是项目名;qsbk_spider.py是创建的爬虫名,在这里面写解析页面的代码;items.py里面定义要爬取的页面元素;pipelines.py里面写下载解析后的内容的代码;setting...原创 2020-05-03 13:01:01 · 282 阅读 · 0 评论 -
win10下安装Scrapy框架和创建项目
Scrapy是Python语言的著名爬虫框架。废话少说,直入主题。① win10安装Scrapy框架:pip install scrapypip install pypiwin32后面这个如果不安装的话,运行代码的时候可能会报错。② 创建Scrapy项目:scrapy startproject 项目名③ 创建爬虫:cd 项目目录scrapy genspider 爬虫名 “要爬...原创 2020-05-02 21:53:26 · 424 阅读 · 0 评论 -
Mac下conda环境操作、conda换源、pip换源
conda环境操作显示当前存在哪些conda环境:conda env list1⃣️conda创建虚拟环境:conda create -n 环境名如果需要指定某些版本,这里以指定python版本为例:conda create -n 环境名 python=3.62⃣️conda删除虚拟环境:conda remove -n 环境名 --all3⃣️conda激活虚拟环境:...原创 2020-05-01 16:43:45 · 8995 阅读 · 1 评论 -
win10安装Selenium和chromedriver
① python环境下安装selenium:pip install selenium②安装chromedriver:进入网址:http://chromedriver.storage.googleapis.com/index.html尽量选择和自己chrome版本一致的chromedriver。(查看自己chrome版本的方法:在地址栏输入:chrome://version/可...原创 2020-04-20 18:17:17 · 342 阅读 · 0 评论 -
python爬取表情包图片
上次写了爬取笔趣阁小说,这次来爬点常用的表情包图片。原创 2020-03-25 22:23:15 · 508 阅读 · 0 评论