魔亦有道的博客

博学笃志、格物明德、弘志励学、德才并蓄

排序:
默认
按更新时间
按访问量

爬虫抓站技巧总结

学用Python也有很长时间了,用得最多的还是各类爬虫脚本:写过抓代理本机验证的脚本,写过在discuz论坛中自动登录自动发贴的脚本,写过自动收邮件的脚本,写过简单的验证码识别的脚本,本来想写google music的抓取脚本的,结果有了强大的gmbox,也就不用写了。这些脚本有一个共性,都是和w...

2017-04-03 19:33:03

阅读数:574

评论数:0

python网络爬虫的异常处理

本节在这里主要说的是URLError还有HTTPError,以及对它们的一些处理 1.URLError首先解释下URLError可能产生的原因:网络无连接,即本机无法上网 连接不到特定的服务器 服务器不存在 在代码中,我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子,先感...

2017-03-30 09:27:19

阅读数:169

评论数:0

嵌入式Linux设备读取CPU温度的方法

http://embedded.kleier.selfhost.me/raspberry_cpu_temp.phphttp://blog.csdn.net/finewind/article/details/48732581http://elinux.org/Jetson/ThermalTo obs...

2017-03-28 10:50:10

阅读数:628

评论数:0

常用的20个正则表达式收藏

正则表达式,一个十分古老而又强大的文本处理工具,仅仅用一段非常简短的表达式语句,便能够快速实现一个非常复杂的业务逻辑。熟练地掌握正则表达式的话,能够使你的开发效率得到极大的提升。正则表达式经常被用于字段或任意字符串的校验,如下面这段校验基本日期格式的JavaScript代码: var reg =...

2017-03-28 09:01:03

阅读数:214

评论数:0

python变量赋值(可变与不可变)

python中不存在所谓的传值调用,一切传递的都是对象的引用,也可以认为是传址。 一、可变对象和不可变对象Python在heap中分配的对象分成两类:可变对象和不可变对象。所谓可变对象是指,对象的内容可变,而不可变对象是指对象内容不可变。不可变(immutable):int、字符串(string...

2017-03-22 14:29:21

阅读数:3885

评论数:0

max、min、zip函数的用法

源码def max(*args, key=None): # known special case of max """ max(iterable, *[, default=obj, key=func]) -> value max(arg1...

2017-03-21 17:08:53

阅读数:434

评论数:0

读懂正则表达式

对于正则表达式,相信很多人都知道,但是很多人的第一感觉就是难学,因为看第一眼时,觉得完全没有规律可寻,而且全是一堆各种各样的特殊符号,完全不知所云。其实只是对正则不了解而以,了解了你就会发现,原来就这样啊正则所用的相关字符其实不多,也不难记,更不难懂,唯一难的就是组合起来之后,可读性比较差,而且不...

2017-03-10 14:55:54

阅读数:387

评论数:0

给你一个网站你是如何来渗透测试的?

昨天分享了一套渗透工程师面试题,我冰雪表哥的回复真的亮瞎了我的双眼。我觉得我有必要收藏并且再分享一下。在获取书面授权的前提下。 1)信息收集, 1,获取域名的whois信息,获取注册者邮箱姓名电话等。 2,查询服务器旁站以及子域名站点,因为主站一般比较难,所以先看看旁站有没有通用性的cms或...

2017-03-09 08:33:38

阅读数:2765

评论数:2

公钥、私钥、证书、数字签名

信息内容加密 接收者的公钥: 用于加密 接收者的私钥: 用于解密 ——– 验证接收者(保证数据私密性) 数字签名 发送者的私钥: 用于加密 发送者的公钥: 用于解密 ——– 验证发送者(保证不可抵赖性、数据完整性) 证书 用于确认公钥所对应的私钥持有者的身份 证书与公共密钥相...

2017-03-08 11:19:30

阅读数:439

评论数:0

爬虫编写经验

1、基本抓取网页 get方法import urllib2url = "http://www.baidu.com" response = urllib2.urlopen(url) print response.read() post方法import urllib import ...

2017-03-07 20:33:45

阅读数:246

评论数:0

Thaad: US begins deploying missile defence system in South Korea

标题:美国在韩国部署导弹防御系统The US military says it has begun deploying a controversial missile defence system in South Korea.The Terminal High-Altitude Area Def...

2017-03-07 11:48:31

阅读数:455

评论数:0

理解Python的With语句

With语句是什么?Python’s with statement provides a very convenient way of dealing with the situation where you have to do a setup and teardown to make some...

2017-03-07 10:40:58

阅读数:200

评论数:0

安装settools、pip3

Debian/Ubuntu系统可以直接使用apt-get安装: sudo apt-get install python3-setuptools RedHat/Centos系统可以直接使用yum安装: yum install setuptool 如果提示没有,请更新源:kali rollin...

2017-03-03 17:45:51

阅读数:374

评论数:0

各种数据库的注释

OracleREM单行注释-- 单行注释/*多行注释*/ MS SQL Server-- 单行注释/*多行注释*/ MySQL#单行注释-- 单行注释(特别注意,-- 后有个空格!!!)/*多行注释*/ 总结:/*多行注释*/ 和-- 单行注释都差不多,MySQL要注意。非标准的#和REM最好...

2017-03-01 19:29:18

阅读数:653

评论数:0

python火车票查询系统的实现与总结

想法是用python编写一个车票查询工具,可以很好的锻炼一下自己python的网络编程能力。1、第一步设计这个API的接口: 根据12306的设计我的API接口也要有出发站,目的站,车次类型,日期四部分。车次类型: -g 高铁 -d 动车 -t 特快 ...

2017-02-27 16:35:24

阅读数:3202

评论数:0

安装最新版python

用Linux自带的下载工具wget下载(当前的最新版本python3.6.0),进入个人用户下面的Downloads下cd ~/Downloads/ wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0.tgz开始下载,下载完成后新建一...

2017-02-24 16:52:57

阅读数:1179

评论数:0

Git 基本用法上

1、git 是linux社区为解决linux版本修改与内核维护所创建的简单易用的分布式版本管理系统。版本分布式系统分为集中式版本管理系统,就是有一台核心主机也就是主服务器数据库中有最新版本,其他计算机工作时要联网取得这一版本,当完成工作后在把自己修改的部分推送给主机服务器。 而分布式版本服务...

2017-02-23 16:31:02

阅读数:375

评论数:0

系统日志管理

1、日志的查看 日志可以记录下系统所产生的所有行为,并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错,优化系统的性能,或者根据这些信息调整系统的行为。 收集你想要的数据,分析出有价值的信息,可以提高系统、产品的安全性,可以帮助开发完善代码,优化产品。 日志会成为在事故发...

2017-02-22 10:19:47

阅读数:4028

评论数:0

linux进程管理

1、进程查看 通过top动态查看linux进程状态和使用ps查看进程的静态信息,还有pstree来查看当前活跃进程的树状结构。 top 工具是我们常用的一个查看工具,他能实时的查看我们系统的关键一些关键信息的变化已经进程在进程中的实时变化 第一排表示的信息: 这个load aver...

2017-02-21 10:29:41

阅读数:194

评论数:0

SQL中使用函数处理数据

与SQL语句不同,SQL中的函数在不同的DBMS中有很大的不同。比如: 取当前日期的函数 Access中使用NOW( ); DB2和PostgreSQL使用CURRENT_DATE; MYSQL使用CURDATE( ); Oracle 使用SYSDATE; SQL server使用GE...

2017-02-21 09:09:00

阅读数:264

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭