python定向爬虫——爬取某代理Ip网站上的所有ip

爬取一个网站的基本过程 确定目标 –> 分析目标 –> 编写程序 -> 执行爬虫 分析目标: url 格式 数据格式 网页编码 分析目标数据在源代码里的结构,以便在后去整个页面源代码后,可以利用正则进行匹配。 注意:目标网站的格式会随时升级,定向...

2017-08-13 15:43:04

阅读数 1385

评论数 2

python对象引用、深浅拷贝

想必大家都了解python是引用计数的方式来管理的。那么python 是真的“传对象引用?实际上,python是采用传值和传引用结合的一种方式。如果函数收到的是一个可变对象(比如字典或者列表)的引用,就能修改对象的原始值——相当于通过“传引用”来传递对象。如果函数收到的是一个不可变对象(比如数字、...

2018-09-20 22:38:30

阅读数 88

评论数 0

centos7 防火墙及端口

查看防火墙状态: firewall-cmd -- state 关闭防火墙: systemctl stop firewall.service 开启防火墙: systemctl start firewall.service 禁止开机启动: systemctl disabl...

2018-04-11 10:15:15

阅读数 213

评论数 0

macos激活Navicat Premium

转自Navicat Premium for Mac v12.0.22.0 破解教程,macOS上手动破解,无需补丁,无毒 今天换了电脑,想装一个Navicat,突然发现了这篇破解教程,竟爱不释手,顾Copy过来保存留念,如有侵权,请联系必删。 由于没...

2018-04-10 10:32:59

阅读数 1640

评论数 2

Elasticsearch5.0 安装问题集锦

原创地址:http://www.cnblogs.com/sloveling/p/elasticsearch.html Elasticsearch5.0 安装问题集锦 elasticsearch 5.0 安装过程...

2018-04-04 16:10:34

阅读数 109

评论数 0

一图让你明白爬虫与反爬虫手段

爬虫与发爬虫的厮杀,一方为了拿到数据,一方为了防止爬虫拿到数据,谁是最后的赢家? 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序反爬虫:使用技术手段防止爬虫程序爬取数据误伤:反爬虫技术将普通用户识别为爬虫,这种情况多出现在封ip中,例如学校网络、小区网络再或者网络网络都是共享一个公共ip,...

2018-04-02 16:15:45

阅读数 7813

评论数 6

elasticsearch的一次体验——5.批量操作

指定索引,类型,id获取多条数据 GET _mget { "docs":[ { "_index":"job", "_type": "job1", ...

2018-02-02 14:55:16

阅读数 696

评论数 0

elasticsearch的一次体验——4.es的基本操作

PUT添加一个数据 PUT job/job1/2 { "title":"python攻城师", "salary": 10000, "company": { "name":&...

2018-02-02 14:48:30

阅读数 83

评论数 0

马哥让你了解Elasticsearch

原创:http://blog.51cto.com/mageedu/1714522?utm_source=tuicool&utm_medium=referral    各位运维同行朋友们,大家好,非常高兴能有这么个机会与大家一起交流一些技术问题。此前的各位分享达人们在技术领域或管理领域均有...

2018-02-02 14:15:34

阅读数 318

评论数 0

elasticsearch的一次体验——3.安装插件(head、kibana)

1、安装elasticsearch-head-master head 插件是最好安装的其中一个, elasticsearch head 是集群管理工具、数据可视化、增删改查工具,也非常好用。 (1)安装npm elasticsearch-head,的安装要用到node.js的npm ...

2018-02-02 10:20:22

阅读数 484

评论数 0

nohup和&不是一个东西

看个小程序 #include #include int main () { int x = 0; while(1) { printf("hello %d, pid %u, ppid %d\n", x++...

2018-02-01 15:47:50

阅读数 136

评论数 0

centos安装npm和使用cnpm

安装npm npm命令是node.js的npm 插件管理器,也就是下载插件安装插件的管理器。 安装命令: yum install nodejs 安装成功查看版本 npm -v 使用淘宝的npm镜像cnpm 因为下载都是国外服务器很慢会掉线,我们需要使用淘宝的npm镜像cnpm...

2018-01-30 18:32:36

阅读数 14777

评论数 0

elasticsearch的一次体验——1.Java环境的安装

1.删除系统自带的一些jdk 通过 rpm -qa | grep Java 命令来查询出系统自带的jdk。 并使用 rpm -e –nodeps 文件名 将其清除 例如:rpm -e –nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x8...

2018-01-30 17:33:12

阅读数 567

评论数 0

linux安装curl、开启端口、安装lrzsz

安装curl  1.下载curl安装包: https://curl.haxx.se/download.html  2.解压: 如    tar zxvf curl-7.39.0.tar.gz  3.进入解压后的curl文件夹 : cd curl-7.39.0  4.输入: ./config...

2018-01-30 16:53:09

阅读数 651

评论数 0

elasticsearch的一次体验——2.centos7安装elasticsearch5

1. 安装java环境 Elasticsearch是由Java开发的,所有首先要安装Java环境。在这里默认你已经安装好了Java环境,如果没有可以到 Java环境安装 查看安装。 2. 下载Elasticsearch 选择安装的版本,es官网下载地址 将下载好的压缩包上传到服务器...

2018-01-30 16:45:01

阅读数 115

评论数 0

python装饰器(decotator)详解

先来看看一个列子def foo(): print '我是lxshen'foo() 输出: 我是lxshen这时我想在这个输出前面再执行一段程序。这时我们首先想到的是以下两种方法:方法一:直接在函数中添加def foo(): print 'hello,', print '我是...

2017-11-18 16:57:51

阅读数 895

评论数 0

python 闭包和装饰器详解

什么是闭包python中的闭包从表现形式上定义(解释)为: 如果在一个内部函数里,对在外部作用域(但不是在全局作用域)的变量进行引用,那么内部函数就被认为是闭包(closure)。需要满足的条件: 一个函数内嵌套一个函数 函数返回值必须是这个嵌套的函数 嵌套的函数必须使用父函数中的局部变量 1....

2017-11-18 14:34:17

阅读数 433

评论数 0

乐视mysql面试题

http://blog.itpub.net/28916011/viewspace-2093197/1. MYISAM和INNODB的不同? 答:主要有以下几点区别: a)构造上的区别 MyISAM在磁盘上存储成三个文件,其中.frm文件存储表定义;.MYD (MYData)为...

2017-11-15 22:41:16

阅读数 164

评论数 0

scrapyd部署爬虫遇到的问题

1.windows下 scrapyd-deploy无后缀文件不能启动:执行命令pip install scrapy-client,安装完成后,在虚拟环境的scripts中会出现scrapyd-deploy无后缀文件,这个scrapyd-deploy无后缀文件是启动文件,在Linux系统下可以运行,...

2017-11-14 21:32:35

阅读数 2921

评论数 1

ubuntu下scrapyd部署爬虫项目

Scrapyd是一个部署和运行Scrapy爬虫的应用程序。它使你能够通过JSON API部署(上传)工程,并且控制工程中的爬虫。scrapyd部署爬虫的优势: 1、方便监控爬虫的实时运行状态,也可以通过接口调用开发自己的监控爬虫的页面 2、方便统一管理,可以同时启动或关闭多个爬虫 3、拥有版本控制...

2017-11-14 20:46:41

阅读数 1315

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭