splash + scrapy爬取动态网页

上次使用Selenium+scrapy爬取京东,但是效率真的很低,而且很慢,容易报错 这次使用splash作为js引擎,加载动态网页 1. 安装spalsh——我是ubbuntu系统,使用apt进行安装,并启动splash sudo apt install docker.io sudo ...

2019-05-16 08:37:12

阅读数 2

评论数 0

fcitx中文输入法安装heishi

起因:最近ubuntu内置ibus中文突然哑火,无法输入中文,无奈之下只能另找替代品 安装: 1. 由于我的已经配置了镜像源,直接运行命令:sudo apt install fcitx-pinyin即可 若没有找到资源,则: sudo add-apt-repository ppa:f...

2019-04-27 13:04:26

阅读数 8

评论数 0

算法集锦(3)

查询 顺序查询 过程:从头到为遍历数组,直到查询到所要查询的值未止 时间复杂度:O(n) 实现:for each循环遍历即可 折半查询 目的:顺序查询效率慢,对顺序查询进行优化 前提:序列S已有序;存储采用数组 过程: 取数组中间值a,中间索引half,开始索引start,结尾索引e...

2019-04-20 01:53:19

阅读数 7

评论数 0

算法集锦(2)

算法集锦 2. 排序 1. 冒泡排序——稳定 思想:相邻两个数两两比较,可以得到最大值(最小)的位置 时间复杂度:O(n3) 空间复杂度:O(n) 实现: 未排序数组a[n] K = n 数组前k个数据两两比较,交换 K = k-1 若k > 1,回到C操作 优...

2019-04-12 16:28:33

阅读数 20

评论数 0

elasticsearch5.6.14的数据搬到elasticsearch5.6.16

目的:ES5.6.14 数据迁移至ES5.6.16 原理:保存在快照(snapshot)中的信息没有绑定任何版本的ES,因此可以通过拍snapshot实现不同版本之间的数据传输 注:通过snapshot最多跨越一个大版本(即4.x==>5.x) 步骤: ES5.6.14操作 ...

2019-04-06 19:38:46

阅读数 22

评论数 0

ubuntu 如何配置xxnet

起因:有时翻墙的需要 步骤:1. github下载xxnet,不作赘述,然后运行start启动 2. 若当前网络不支持IPV6,可以安装miredo( sudo apt-get install miredo),然后直接启动( miredo ) 3. 发现卡在系统空闲状态,仍然无法翻墙Sw...

2019-04-04 09:21:00

阅读数 71

评论数 0

ubuntu 18.0.4换上mac主题

起因:最近突然想给ubuntu换个观感更好的主题,所以把默认主题换成mac 操作:参照网址:https://www.cnblogs.com/feipeng8848/p/8970556.html 文章在修改图标操作及其之前可以跟着操作,基本完成mac主题 修改图标完成后,修改gr...

2019-04-03 23:19:56

阅读数 13

评论数 0

Mysql指令收集

缘由:经常忘记命令,浪费时间查找 Mysql命令: Create_database: #创建数据库并指定数据库编码格式 CREATE DATABASE {db_name}DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; TAB...

2019-04-03 10:56:48

阅读数 9

评论数 0

本地——云服务器文件传输

本地(win)——服务器(Linux):服务器端下载lrzsz: 使用xshell或者其他软件远程登陆服务器,使用rz和sz命令传输文件 a. rz 上传到云服务器; b. sz 云服务器下载到本地 本地(Linux)——服务器(Linux):scp...

2019-04-03 09:17:21

阅读数 102

评论数 0

scrapy+selenium爬去京东动态网页

使用scrapy爬取京东图书出现问题:京东中部分数据采用JS加载生成。 造成后果:scrapy爬下来的网页缺乏一些信息(需要加载JS才能生成)如图1 图1 京东商品的价格不在网页源代码中。 解决方法: 1. 使用scrapy-splash。scrapy-splash可以帮助scrap...

2019-03-07 14:35:42

阅读数 48

评论数 0

使用elasticsearch-head连接elasticsearch

前言: 初次安装elasticsearch后,我需要elasticsearch-head来连接elasticsearch(类似navicat连接mysql) 安装过程: 1. 进入github,搜索elasticsearch-head,下载链接 2. 将其下载并解压到本地,进入elasti...

2019-03-03 14:41:12

阅读数 51

评论数 0

安装elasticsearch异常

第一次安装elasticsearch(github下载被人安装中文插件后到elasticsearch-rtf): 1. 登录github下载 2. 安装jdk(elasticsearch是基于Lucene搜索引擎,而Lucene是由java实现的,因此运行elastisearch需要配置好相对...

2019-03-03 09:27:28

阅读数 31

评论数 0

python3中url含有中文字符出现的问题及其解决方法解决方法

最近学习python3爬虫的过程中,遇到一个问题: 当url中含有中文的时候,就会出现以下错误: self._send_request(method, url, body, headers, encode_chunked) File "/usr/lib/python3.6...

2018-06-29 17:26:21

阅读数 331

评论数 0

vs2013环境下使用.net连接MySQL数据库

1. 到官方网站http://dev.mysql.com/downloads/file/?id=463758,下载mysql驱动(安装包msi,Windows环境下双击运行即可) 2. 打开vs,新建项目,打开扩展。(解决方案资源管理器下右键-->添加引用--&am...

2018-05-22 15:37:02

阅读数 1491

评论数 0

Mysql5.7.16压缩包 的安装

1. 下载Mysql5.7.16的zip文件 2. 将zip解压到制定路径D:\...\... 3. 添加环境变量Path = %Path%;D:\..\..\bin; 4. 管理员模式打开cmd控制台 5. 进入D:\..\..(mySQL解压路径)\bin, 运行命令:mysqld -...

2018-04-29 22:58:05

阅读数 143

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭