Python爬虫反爬策略(一)

好久没有更新博客了,心里空落落的,这次分享我的Python爬虫反爬策略三部曲,拥有这三步曲就可以在爬虫界立足了,哈哈哈~~~~~~ 浏览器伪装 IP代理池和用户代理池构建 动态页面加载解决方法 网站反爬机制常用的方法: 1、通过识别访问的headers来判断是爬虫还是浏览器访问,其中最常用...

2018-09-25 21:39:38

阅读数 184

评论数 0

python列表操作

count():    统计列表中元素重复的次数name = ["1", "2", "2", "1"] print(name.count(&quo...

2018-03-31 12:11:22

阅读数 1260

评论数 1

文章

ISeeYou:一款社会工程学&网络钓鱼工具 今天给大家介绍的是一款名叫ISeeYou的强大社工工具,该工具基于Bash和JavaScript开发,可帮助研究人员在进行社工技术测试或网络钓鱼培训过程中快速定位目标用户的确切地理位置。在拿到目标用户的地理位置坐标之... 业务平台...

2019-05-02 23:24:52

阅读数 10

评论数 0

爬虫进行之前需要了解的基本知识

1、HTTP原理 url 一般的网页链接都可以成为url 超文本-hypertext,在浏览器里看到的内容就是超文本解析而成的,网页源代码就是HTML HTTP协议-超文本传输协议,HTTP协议是用于网络传输超文本数据到本地浏览器的传送协议,它既能保证高效而准确地传送超文...

2018-12-09 17:32:38

阅读数 893

评论数 0

静态方法、类方法和属性方法

面向对象的高级属性:        静态方法: 采用@staticmethod装饰器来实现静态方法特点:采用静态方法以后就不能直接传进self参数了,要想传进参数就只能传进类名,静态方法是比较少用的。    类方法:类方法通过@classmethod装饰器实现,类方法和普通方法的区别是,类方法只能...

2018-04-21 20:24:59

阅读数 84

评论数 0

python面向对象和面向过程解析

        对初学者来说面向过程和面向过程也是一个谜题所在吧,可能一时间理解不了这两者的区别,希望写这篇博客可以帮助到这些受困的学者们。面向过程:    1、面向过程最重要的是把一件事情模块化,就是把一个大问题分解成很多个小问题或者子过程。    2、然后面向过程是自顶向下逐步求精,就是程序从...

2018-04-16 14:26:22

阅读数 382

评论数 0

python中的模块

1、定义模块:用来从逻辑上组织python代码(变量,函数,类,逻辑:实现一个功能),本质上就是.py结尾的python文件(文件名:text.py,对应的模块吗:text)包:用来从逻辑上组织模块的,本质上就一个目录(不同的是有一个__init__.py文件)2、导入方法import 文件名.模...

2018-03-31 22:20:48

阅读数 159

评论数 0

Linux关机命令

 关机要注意的事项:    观察系统的使用状态    通知在线使用者的关机时间    正确的使用关机指令关机的指令:    数据同步写入磁盘:sync    常用的关机命令:shutdown    重启:reboot关机-shutdown:shutdown:    -t :添加秒数,设定几秒后关机...

2018-03-22 21:31:10

阅读数 49

评论数 0

Linux创建用户

    Linux创建用户一般是用adduser命令来创建用户的有两种情况:    1、在root用户下:使用adduser只是创建了一个用户名,如(adduser + 用户名),也不会提示你设置用户的登录密码,它也没有在/home目录下创建同名文件夹,所以这个创建的用户是登录不了的,此时要设置密...

2018-03-22 21:12:12

阅读数 280

评论数 0

centos 7.0远程登录

linux在虚拟机上操作确实是挺方便的,免去了装双系统的烦恼和面临一些新手操作失误导致的系统崩溃的局面,但是使用虚拟机操作起来也是有许多不便之处的,光标就是其中一个问题,此时采用远程登录linux用户就可以使操作变得简单,可以直接在xshell上输入命令来操作linux,使用也是十分的方便,不多说...

2018-03-16 21:02:33

阅读数 1008

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭