自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

mjp_erhuo的博客

一个爬虫工程师的路程

  • 博客(6)
  • 资源 (4)
  • 收藏
  • 关注

原创 centos7的IP[配置

Linux系统安装及配置配置IP(两种方法2选1即可) 方法一: cd /etc/sysconfig/(进入网关路径) cd netowrk -scripts/(进入网关文件夹) vi ifcfg-eno1(进入vi里配置IP[①修改为static/②修改为yes/其他都是添加]) ①BOOTPROTO=static ②DEVICE=yes IPADDR=输入IP(IP) PR...

2018-10-31 18:03:33 3133

转载 使用selenium操作PhantomJS的常用操作

采集淘宝商品数据的时候,主要用到了Selenium+PhantomJS。在这个过程中对淘宝的严厉反爬措施佩服至极,个人也得到了很多成长。虽然历经曲折,最终还是能正常运行自己的脚本采集数据。这里总结一下Selenium+PhantomJS使用中常用的操作。设置等待时间隐式等待,等同于time.sleep()driver.implicitly_wait(40)设置PhantomJS发...

2018-10-27 10:32:20 332

转载 调试环境python3.6,调试python操作mysql数据库

python3.6下代码如下#coding:utf-8#python3.6使用pymysql操作mysqlprint("=====================mysql数据库=====================")import pymysql.cursors# 连接数据库connect = pymysql.Connect(    host='127.0.0.1',...

2018-10-27 10:31:42 619

原创 MongoDB监控文档

关闭mongodb服务./mongo --port 20000use admindb.shutdownServer()重启MongoDB库cd /home/local/mongodb/bin/./mongod -f /home/local/mongodb/conf/config.conf --rest./mongod -f /home/local/mongodb/conf/sh...

2018-10-27 10:22:28 302

原创 centos搭建mongodb集群

开始前进入su模式,关闭防火墙systemctl stop firewalld.service   重启生效:systemctl disable firewalld.service以下配置文件中id除非是0.0.0.0的,其他都需要根据自身情况来修改下载:mongodb: curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_6...

2018-10-27 10:16:25 229

原创 笔趣阁小说优化版

#-*-coding:utf-8-*-# 笔趣阁import requestsfrom lxml import etreedef url_processing(url): # 网址处理函数 if requests.get(url).status_code > 200 and requests.get(url).status_code < 300: ...

2018-10-15 09:18:03 741

dns清理.bat (处理win桌面的远程桌面连接无法连上其他机器)

处理win桌面的远程桌面连接无法连上其他机器

2021-01-27

csv文件合并.bat

将多个CSV文件合并成一个文件 CSV全称Comma-Separated Values,它是一种通用的,简单的,被广泛采用的一种表格数据格式。采用纯文本格式存储,用分隔符号分开。它格式类似于数据库表格,每一行,中间用分隔符分开,一行就是一条记录,一列就是一个字段。它是文本格式,所以非常直观,可读。 CSV文件可以记事本软件直接打开编辑,也可以用Excel软件打开编辑。 CSV文件有几个规则:开头不能空,没有空行,不支持数字和特殊字符

2020-09-02

xpath+helper

google插件XPath Helper可以支持在网页点击元素生成xpath,整个抓取使用了xpath、正则表达式、消息中间件、多线程调度框架(参考)。xpath 是一种结构化网页元素选择器,支持列表和单节点数据获取,他的好处可以支持规整网页数据抓取。 如果我们要查找某一个、或者某一块元素的xpath路径,可以按住shift,并移动到这一块中,上面的框就会显示这个元素的xpath路径,右边则会显示解析出的文本内容,并且我们可以自己改动xpath路径,程序也会自动的显示对应的位置,可以很方便的帮助我们判断我们的xpath语句是否书写正确

2020-03-25

ntp离线安装包 autogen ntpdate ntp

ntp 离线安装包, autogen-libopts-5.18-5.el7.x86_64.rpm ntpdate-4.2.6p5-28.el7.centos.x86_64.rpm ntp-4.2.6p5-28.el7.centos.x86_64.rpm

2019-04-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除