qq_45727917的博客

原创 scrapy 定时启动爬虫

定时启动爬虫引用：https://www.jianshu.com/p/c1c9f7ea742f中的方法方法：使用time模块首先在scrapy.cfg同一目录下创建一个main.py文件（XX.py）然后运行以下代码就可以实现定时启动爬虫import timeimport oswhile True: os.system("scrapy crawl spider_name")...

原创 scrapy初识中间件（代理随机更换，ip随机更换，cookie更换）

scrapy初识中间件（代理随机更换，ip随机更换，cookie更换）中间件随机更换User_Agent随机更换IP中间件爬虫中间件——spider与引擎之间作用：拦截未去重的请求和响应还可以拦截item下载器中间件——下载器和引擎之间作用：批量拦截所有的请求和响应为什么拦截请求：———篡改UA伪装，让请求载体具有不同的身份标识———修改请求对应的ip随机更换User_Age...

原创 ubuntu装mysql

原创 MySQL简单操作

原创 了解ARP工作机制

ARP工作机制ARP工作机制ARP：地址解析协议，是根据IP地址获取物理地址（MAC地址，以太网地址，局域网地址）的TCP/IP协议工作机制：主机将包含目标IP的信息广播到局域网中的所有主机，并接受返回信息，以此确定目标的MAC地址。在获取到目标MAC地址后，主机会将MAC地址和IP地址存到ARP缓存区中（保留一段时间），下次需要时直接查询ARP缓存以达到节约资源的目的工作过程：假设 ...

原创 初识TCP/IP协议

这里写自定义目录标题TCP/IP简介（本文主要讲TCP和UDP协议）TCP：传输控制协议UDP：用户数据报协议区别：TCP/IP简介（本文主要讲TCP和UDP协议）TCP/IP：传输控制协议/网际协议，指能够在多个不同网络间实现信息传输的协议簇。TCP/IP协议不仅仅指的是TCP 和IP两个协议，而是指一个由FTP、SMTP、TCP、UDP、IP等协议构成的协议簇， 只是因为在TCP/IP协议...