计算机网络与互联网
Q-WHai
O ever youthful,O ever weeping.
展开
-
模拟计算机网络中的零比特填充
学网络的时候,学到一个零比特填充法。是用来保证数据在网络中传输的时候有一个比较稳妥的方式不产生错误。用零比特填充是因为我们要让7EH(01111110)这个16进制数据表示数据的结尾,正因为如此,所以我们不能让数据本身包含这个7E数据,因为这样的话,数据就会被认为是结束。我们采用的方法是只让连续的5个‘1’在一起,当有6个‘1’的时候,在第5个‘1’和第6个‘1’之间填充一个‘0’,下面笔者就这一个方法用代码的方式来实现。由于只是想实现这个基本功能,所以就不在文件末尾添加7EH结束标志了。。。。原创 2014-04-17 11:39:40 · 12389 阅读 · 5 评论 -
交互式数据包处理程序 Scapy 入门指南
Scapy 是一个强大的交互式数据包处理程序(使用python编写)。它能够伪造或者解码大量的网络协议数据包,能够发送、捕捉、匹配请求和回复包等等。它可以很容易地处理一些典型操作,比如端口扫描,tracerouting,探测,单元测试,攻击或网络发现(可替代hping,NMAP,arpspoof,ARP-SK,arping,tcpdump,tethereal,P0F等)。最重要的他还有很多更优秀的特性——发送无效数据原创 2016-04-13 11:49:25 · 25004 阅读 · 0 评论 -
网络爬虫:使用多线程爬取网页链接
经过前面两篇文章,你想大家应该已经知道网络爬虫是怎么一回事了。这篇文章会在之前做过的事情上做一些改进,以及说明之前的做法的不足之处。原创 2015-08-17 18:59:47 · 12119 阅读 · 0 评论 -
网络爬虫:采用“负载均衡”策略来优化网络爬虫
这里说的负载均衡并非大家熟悉的网络中的负载均衡。只是这里我使用了和负载均衡同样的一种思维来优化程序罢了,其实就是压力分摊。原创 2015-08-24 18:44:04 · 2955 阅读 · 0 评论 -
网络爬虫初步:从访问网页到数据解析
本篇文章在这里只是起一个抛砖引玉的作用。本文主要是讲解了如何使用Java/Python访问网页并获得网页代码、Python模仿浏览器进行访问网页和使用Python进行数据解析。希望我们以本文开始,一步一步解开网络蜘蛛神秘的一面。原创 2015-08-10 19:05:35 · 12107 阅读 · 0 评论 -
网络爬虫初步:从一个入口链接开始不断抓取页面中的网址并入库
在这篇博客中,我主要是说明要做的两件事,一是入库,二是遍历拿到的链接继续访问。如此往复,这样就构成了一个网络爬虫的雏形。原创 2015-08-12 23:46:41 · 20906 阅读 · 3 评论 -
网络爬虫:URL去重策略之布隆过滤器(BloomFilter)的使用
最近被网络爬虫中的去重策略所困扰。使用一些其他的“理想”的去重策略,不过在运行过程中总是会不太听话。不过当我发现了BloomFilter这个东西的时候,的确,这里是我目前找到的最靠谱的一种方法。原创 2015-08-25 22:45:19 · 26415 阅读 · 9 评论 -
模拟网络通信中存储转发的分组交换算法
分组交换很简单,就是将接收端接收到的一连串数据先存储下来,然后进行分组(分组的目的是因为原数据长度太长,在通信中,因为噪音的干扰会失真重传。那么,这样的话发送者就必须从头开始将原数据再发送一次,这样的通信在数据量比较多的情况显然就会影响到通信效率),在分组的数据上进行添加首部,把这样添加地首部的数据放网络上进行传输。在目的端,再把分组的数据除掉首部,进行组装,即是一个还原的过程。原创 2014-04-17 11:27:45 · 3518 阅读 · 0 评论 -
Scapy 伪造网络数据包
这里说明的数据包伪造只是伪造数据包发送的源地址。网络上有一些有人说可以对数据包内容的伪造(修改)和转发,不过目前还没找到这一点是如何完成的,甚至是在官方提供的文档上也没有看到这一类操作的说明。原创 2016-04-20 10:02:16 · 21878 阅读 · 0 评论