爬虫
lvbu89757
这个作者很懒,什么都没留下…
展开
-
爬虫入门(一)之获取皮卡丘图片
爬虫入门requests包爬虫可以用的包还是蛮多的,我这里就只用requests包进行测试了如果没有requests包的话,就进入想要用的虚拟环境,键入pip install requests获得了requests包以后,我们就可以简单的实现一下爬虫了获得所需要的信息首先我们需要先获取需要向哪个路径发送请求,我们找到自己需要获取的网页,我这里用皮卡丘的百度图片搜索来进行测试至于...原创 2019-07-15 19:44:51 · 405 阅读 · 0 评论 -
ubuntu18.04下载配置mongo以及增删改查的语句
db.createUser({user:'用户名',pwd'密码',roles:[role:'readWrite',db:'dbname']}) db.createUser({user:'用户名',pwd'密码',roles:['root']}) db.auth('用户名','密码') db.dropUser('用户名') show collecti...原创 2019-07-18 14:42:37 · 181 阅读 · 0 评论 -
爬虫入门(二)获取网页返回json数据存放于csv中
获取网页返回的json数据今天的网站是智联招聘搜索python工作能够找到的数据找到需要获取的内容相对于原创 2019-07-16 18:57:02 · 2020 阅读 · 0 评论 -
爬取苏宁易购信息(面向对象)
用面向对象的编码流程爬取苏宁易购的信息苏宁这些电商的网站的信息比较难爬,这此的代码虽然能跑,但是数据并没有什么意义。所以只是单纯做一个面向对象爬虫编码流程的例子来看就行了代码部分由于数据没啥意义,我就不分析太多,就给一下代码结构import requestsfrom lxml import etreeimport reimport timeimport randomimport ...原创 2019-07-23 19:46:35 · 1227 阅读 · 0 评论 -
pycharm链接mongodDB
pycharm链接mongodDB下载交互包pymongo进入项目虚拟环境键入pip install pymongo本地链接在项目中加入from pymongo import MongoClientclient=MongoClient('localhost',端口号(默认为:27017))远程链接在项目中加入from pymongo import MongoClientc...原创 2019-07-19 19:48:14 · 415 阅读 · 0 评论 -
xpath爬取我爱我家杭州地区租房网
xpath爬取我爱我家杭州地区租房网分析房源信息列表页网页的请求属于get,然后找我们需要的信息所在的模块可以看见我们需要的网页数据在doc模块中,找到这个模块,分析他的请求,在requests请求中模拟这个请求import requests这个包是后面的引用from arearenthouselistpage_5i5j import get5i5jhtml_str写成函数形式为...原创 2019-07-20 09:40:47 · 1206 阅读 · 0 评论 -
python requests补充
python requests上代理服务器# 根据协议类型,选择不同的代理proxies = {"http": "http://148.399.56.79:9527"}response = requests.get("http://www.baidu.com", proxies = proxies)# 私密代理,代表用户名与密码proxy = { "http": "xx:123456...原创 2019-07-22 11:05:20 · 137 阅读 · 0 评论 -
selenium浏览器测试
selenium浏览器测试下载selenium首先在自己的虚拟环境中下载pip install selenium下载chrome driver一、安装Chrome浏览器1、安装依赖sudo apt-get install libxss1 libappindicator1 libindicator72、下载Chrome安装包wget https://dl.google.com...原创 2019-07-26 20:20:46 · 252 阅读 · 0 评论 -
爬虫scrapy框架简单爬取一个网页
爬虫scrapy框架scrapy流程图开始一个scrapy项目首先进入你想要使用的虚拟环境,键入pip install scrapy下载完成后再虚拟环境中键入scrapy startproject 项目名称即可以在当前所在路径创建一个scrapy项目创建一个爬虫文件首先进入我们的scrapy项目cd 项目名这里我选择直接用命令行生成爬虫文件scrapy gensp...原创 2019-07-23 15:24:00 · 1278 阅读 · 0 评论