2017年10月_Gpwner

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 python爬虫<解决URL被重定向无法抓取到数据问题>

在写爱奇艺爬虫的时候经常碰到URL被重定向的问题，导致无法请求到数据：以下是我的代码：# -*- coding: utf-8 -*-import scrapyheaders = { 'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

2017-10-31 15:42:35 11962

原创 python爬虫<在Pipeline创建数据连接池批量写入MySQL>

以下是连接池的参数说明： def __init__(self, creator, mincached=0, maxcached=0, maxshared=0, maxconnections=0, blocking=False, maxusage=None, setsession=None, reset=True,

2017-10-30 13:44:49 2650

原创 python爬虫<将scrapy的请求设置为同步>

scrapy的请求是并发进行的，但是我今天有一个需求是要顺序爬网站上的信息，爬的是搜狗热搜榜的电影、电视剧、动漫、综艺的热搜排行榜，每一个爬前三页。顺序爬取下来然后存到数据库中。我的解决办法是在setting文件中将scrapy的并发数设置为1，当并发数为1的时候不就是同步了嘛# Configure maximum concurrent requests performed by Scrapy

2017-10-27 10:31:51 4759 1

原创 Ubuntu17.10<解决安装完网易云音乐无法打开>

在网易云官网上下载好了网易云的Linux版本之后，双击安装包安装完毕，发现不能打开，查了很多资料，最后找到了以下解决办法：在终端以root用户登陆，输入如下指令：netease-cloud-music --no-sandbox %U我的电脑是出现了一下的错误：Unable to locate theme engine in module_path: "adwaita"解决办法是，继续在终端输入以下命

2017-10-25 22:18:03 25011 3

原创 Ubuntu1710<Apt源>

系统初始源：#deb cdrom:[Ubuntu 17.10 _Artful Aardvark_ - Release amd64 (20171018)]/ artful main restricted# See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade to# newer versions of the dis

2017-10-21 15:36:31 917