- 博客(6)
- 资源 (5)
- 收藏
- 关注
原创 python爬虫<解决URL被重定向无法抓取到数据问题>
在写爱奇艺爬虫的时候经常碰到URL被重定向的问题,导致无法请求到数据:以下是我的代码:# -*- coding: utf-8 -*-import scrapyheaders = { 'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
2017-10-31 15:42:35 12045
原创 python爬虫<在Pipeline创建数据连接池批量写入MySQL>
以下是连接池的参数说明: def __init__(self, creator, mincached=0, maxcached=0, maxshared=0, maxconnections=0, blocking=False, maxusage=None, setsession=None, reset=True,
2017-10-30 13:44:49 2676
原创 python爬虫<将scrapy的请求设置为同步>
scrapy的请求是并发进行的,但是我今天有一个需求是要顺序爬网站上的信息,爬的是搜狗热搜榜的电影、电视剧、动漫、综艺的热搜排行榜,每一个爬前三页。顺序爬取下来然后存到数据库中。 我的解决办法是在setting文件中将scrapy的并发数设置为1,当并发数为1的时候不就是同步了嘛# Configure maximum concurrent requests performed by Scrapy
2017-10-27 10:31:51 4820 1
原创 Ubuntu17.10<解决安装完网易云音乐无法打开>
在网易云官网上下载好了网易云的Linux版本之后,双击安装包安装完毕,发现不能打开,查了很多资料,最后找到了以下解决办法:在终端以root用户登陆,输入如下指令:netease-cloud-music --no-sandbox %U我的电脑是出现了一下的错误:Unable to locate theme engine in module_path: "adwaita"解决办法是,继续在终端输入以下命
2017-10-25 22:18:03 25076 3
原创 Ubuntu1710<Apt源>
系统初始源:#deb cdrom:[Ubuntu 17.10 _Artful Aardvark_ - Release amd64 (20171018)]/ artful main restricted# See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade to# newer versions of the dis
2017-10-21 15:36:31 942
原创 分割线<秋招结束,接下来的>
从风风火火地从帝都赶回学校,再到风风火火地去签约,2017年09月29日,总算拿到一份不论是从薪资还是工作地点都满意的offer,秋招就此结束吧,接下来要好好复习一下Scala、继续看Java虚拟机、进一步学习机器学习了~~
2017-10-01 19:47:46 334
Tomcat安装程序
2016-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人